ControlNet — 12 တစ်ခု tool ကိုထဲမှာ conditioning အမျိုးအစားများ
ဥပမာတစ်ခုကို upload လုပ်ပါ, conditioning အမျိုးအစားကိုရွေး, prompt ကိုရေးသား. AI ကသင့်ရဲ့အကြံပြုချက်၏ဖွဲ့စည်းပုံကိုထိန်းသိမ်းထား (လိုင်းများ, တင်, အနက်, စသည်တို့ကို) နှင့်မည်သည့်စတိုင်တွင်အသစ်အကြောင်းအရာ renders. ControlNet-Union SDXL ProMax အားဖြင့်ထောက်ခံ - Apache 2.0, လုံးဝကုန်သွယ်-အသုံးပြုမှုဖော်ရွေ.
ရလဒ်
ControlNet လုပ်ဆောင်ပုံ
ControlNet သင်ကစာသား prompt ကိုတစ်ဦးတည်းအပေါ်မှီခိုအစားအကြံပြုပုံရိပ်၏ဖွဲ့စည်းပုံနှင့်အတူပုံရိပ်ဖန်တီးမှုလမ်းညွှန်ပေးသည်။ preprocessor ကိုသင်၏အကြံပြုချက်ကိုဖတ်ပြီးတစ်ဦးတည်း conditioning signal ကိုထုတ်ယူ - ၎င်း၏ဘေး, ၎င်း၏အနက်ကမြေပုံ, လူတစ်ဦး၏ pose skeleton, နှင့်ထိုကဲ့သို့သော. diffusion ပုံစံကို prompt ကို style, အရောင်များ, အလင်းရောင်နှင့်အကြောင်းအရာဆုံးဖြတ်နေစဉ်ထိုအချက်ပြသို့ lock ထားသည်။ ရလဒ်ကိုသင် feed ထဲမှာတိကျတဲ့ဖွဲ့စည်းပုံကိုထိန်းသိမ်းထားပေမယ့်တစ်ခုခုလုံးဝအသစ်လိုပဲကြည့်ရှု။
ဒီ tool ကို ControlNet-Union SDXL ProMax (Apache 2.0) အားဖြင့်ထောက်ခံသည် - အားလုံးနားလည်သောတစ်ခုတည်းသောမော်ဒယ် 12 အောက်ပါ conditioning အမျိုးအစားများ, ဒါကြောင့်သင်တစ်ချိန်ကတစ်ဦးကွဲပြားခြားနားသောကွန်ယက်ကို load မပါဘဲတစ်ဦး picker မှသူတို့အကြား switch ကို။ ဒါဟာလုံးဝစီးပွားရေးလုပ်ငန်း-အသုံးပြုမှုဖော်ရွေဖြစ်ပါသည်: ထိန်းသိမ်း, ရောင်းချ, သို့မဟုတ်သင်ထုတ်လုပ်ဘာမှပြုပြင်။
အဆိုပါ 12 conditioning အမျိုးအစားများ
ဆန်းတယ်
crisp edge ကိုရှာဖွေတွေ့ရှိ. ပြင်းထန်သော outlines နှင့်ရှင်းလင်း linework ကိုထိန်းသိမ်းရန်အတွက်အကောင်းဆုံး.
အနက်
3D နက်နဲမှုမြေပုံ. နေရာချထားမှု layout ကိုထိန်းသိမ်းထားသည် - ဘာကနီးကပ်ပြီးဘာကအဝေးမှာ.
နေရာချထားမှု
OpenPose ခန္ဓာကိုယ် အရိုးစု။ ပုံရဲ့ အနေအထားနဲ့ အရိုးစု နေရာတွေကို ပိတ်ထားတယ်။
ရေးဆွဲပါ
လက်ဖြင့် ရေးဆွဲထားသော ရေးဆွဲချက်များမှ အနုပညာ အဖြစ် ပြောင်းလဲသွားသည်။
ပိုင်းဖြတ်ခြင်း
အရောင်ကုဒ် သတ်မှတ်ထားတဲ့ ဒေသမြေပုံ။ မြင်ကွင်းတစ်ခုစီရဲ့ ဧရိယာတစ်ခုစီကို တန်းတစ်ခုကို ခွဲဝေပေးပါ။
ပုံမှန်
မျက်နှာပြင်-ပုံမှန်မြေပုံ။ Fine 3D မျက်နှာပြင် orientation နှင့် bumps ကိုထိန်းသိမ်းထားသည်။
လိုင်းအနုပညာ
Fine line extraction — ink, manga, and illustration များအတွက် အသင့်တော်ဆုံး။
ပါးလွှာတဲ့ အပြင်အဆင်
Canny ထက် ပုံစံများကို ပိုမို လွတ်လပ်စွာ လိုက်နာသော ရိုးရှင်းသော နယ်နိမိတ် ရှာဖွေမှု။
MLSD
ရိုးရှင်းတဲ့လိုင်း segments. ဗိသုကာအတွက်ပြုလုပ်, အတွင်းပိုင်း, နှင့်ထုတ်ကုန်ရိုက်ချက်.
ပြားချပ်ချပ်
upscaling နှင့်ဆက်စပ် texture အလုပ်များအတွက်အသေးစိတ်-ထိန်းသိမ်းစောင့်ရှောက် conditioning ။
ရေးဆွဲပါ
ရုပ်ပုံရဲ့ အစိတ်အပိုင်းကိုသာ ပြန်ဖန်တီးဖို့ မျက်နှာဖုံး-သိမြင်မှု အခြေအနေ
ထပ်ရေးဆွဲ / ထပ်ရေးဆွဲ
ပတ်ဝန်းကျင် တည်ဆောက်ပုံကို လေးစားပြီး ပင်နတ်ကို တိုးချဲ့ပါ ဒါမှမဟုတ် ဧရိယာကို ပြန်ရေးဆွဲပါ
သုံးဆင့်
- ဓာတ်ပုံ၊ ပုံကြမ်း၊ မျက်နှာပြင်ဖမ်းပုံ၊ သင့်အနေဖြင့် သိမ်းဆည်းလိုသော ဖွဲ့စည်းပုံနှင့် ပတ်သက်၍ မည်သည့်အရာမဆို ဓာတ်ပုံကို တင်သွင်းပါ။
- သင်အကြောင်းကိုဂရုစိုက်ဘာကိုကိုက်ညီ conditioning အမျိုးအစား Pick (ပုံတစ်ပုံအတွက် posture, မြင်ကွင်းအတွက်အနက်, ရှင်းရှင်းလင်းလင်း outlines များအတွက် canny သို့မဟုတ် lineart).
- သင်လိုချင်တဲ့ကြည့်ရှုခြင်းနှင့်ထုတ်လုပ်ဖော်ပြချက် prompt ကိုရေးသား. ပိုပြီးတင်းကျပ်စွာအညွှန်းကိုလိုက်နာရန်ထိန်းချုပ်မှုစွမ်းအားကိုမြှင့်, ပိုပြီးဖန်တီးမှုလွတ်လပ်ခွင့်အတွက်လျော့ချ.
ControlNet — 12 တစ်ခု tool ကိုထဲမှာ conditioning အမျိုးအစားများ - FAQ
အားလုံးကိုပြသသောတစ်ခုတည်းသော tool ကို 12 ControlNet-Union SDXL ProMax မော်ဒယ်မှ conditioning အမျိုးအစားများ - canny, တင်ပြ, အနက်, scribble, lineart, anime-lineart, MLSD, HED, soft-edge, ပုံမှန်, segmentation, နှင့် tile ကို။ conditioning အမျိုးအစားကိုရွေးပါ, ရည်ညွှန်းပုံရိပ်ကို Drop, တောင်းဆိုချက်ကိုရေးသား, နှင့် SDXL သင့်ရဲ့ရည်ညွှန်း၏ဖွဲ့စည်းပုံကိုလိုက်နာတဲ့အသစ်တစ်ခုကိုပုံရိပ်ကို renders ။
img2img အပေါ်တိုက်ရိုက် input ကို re-paints — အရောင်များ, edge, နှင့် prompt ကိုနှင့်အတူဂျီသြမေတြီရောနှော. ControlNet အရောင်များကိုပစ်ချပြီးရွေးချယ်ထားသောဖွဲ့စည်းပုံကိုသာအချက်ပြထားပါတယ် (လိုင်းများ, တင်ပြအရိုးစု, အနက်ကမြေပုံ, စသည်တို့ကို). ဖွဲ့စည်းပုံကျောက်ခဲခိုင်မာအောင်ထားစဉ်သင် radically အကြောင်းအရာ swap ပေးပါတယ်. img2img ထက်အတော်လေးခိုင်မာတဲ့ဖွဲ့စည်းပုံကိုထိန်းချုပ်မှု.
ရှင်းလင်း linework input ကိုများအတွက် Canny / lineart. anime-style လိုင်း input ကိုများအတွက် Anime-lineart. ရေးဆွဲ / soft-edge / HED များအတွက်ခက်ခဲပုံကြမ်းနှင့် doodles. ဓာတ်ပုံတစ်ပုံမှကိုယ်ခန္ဓာအနေအထားကိုကူးယူရန် Pose. မြင်ကွင်းဂျီသြမေတြီ / 3D layout ကိုထိန်းသိမ်းရန်အနက်. MLSD တိကျသောလိုင်းများကိုထိန်းသိမ်းရန် (ဗိသုကာ / အတွင်းပိုင်း). ပုံမှန်မျက်နှာပြင်အညွှန်းကိန်းနှင့်အသံပမာဏကိုထိန်းသိမ်းရန်. ဒေသများကိုထိန်းသိမ်းရန် Segmentation. တည်ရှိသောပုံရိပ်၏အပြောင်းအလဲများကိုကောင်းမွန်အောင်သို့မဟုတ်အဆင့်မြှင့်ရန် tile.
ControlNet-Union SDXL ProMax (xinsir, Apache 2.0) တစ်ခုတည်း 2.5 GB အလေးချိန်ထဲသို့အားလုံး 12 conditioning ကွန်ယက်များကိုထုပ်ပိုး. အဟောင်းဖြန့်ချိအမျိုးအစားတစ်မျိုးစီအသီးသီး ~ 2.5 GB အလေးချိန် download လုပ်ပါ - canny နှင့် pose အကြား switching ကိုအေးစက်-စတင်ဆိုလိုသည်။ အဖွဲ့ချုပ်မော်ဒယ်တစ်ကြိမ် loads နှင့်နွေးနေသည်, ဒါကြောင့်အားလုံး conditioning အမျိုးအစားပထမဦးဆုံးခေါ်ဆိုမှုပြီးနောက် sub-စက္ကန့်ဖြစ်ပါသည်.
ဟုတ်ကဲ့။ ~1,200 render တစ်ဦးချင်း tokens (1,000 အခြေခံ SDXL + 20% ControlNet conditioning ကုန်ကျစရိတ်). မှတ်ပုံတင်အသုံးပြုသူများကိုရ 30,000 အခမဲ့နေ့စဉ် tokens — အကြောင်းကို 25 ကုန်ကျစရိတ်မရှိဘဲတစ်နေ့လျှင် conditioned renders. အမည်မဲ့: 2,500 tokens / ရက် (~2 renders).
ဟုတ်ကဲ့ — ထိန်းချုပ်မှုစွမ်းအား slider ကို (စံ 0.7) output ကိုသင်၏အညွှန်းကိန်းကိုလိုက်နာဘယ်လောက်တင်းကျပ်စွာဆုံးဖြတ်. 1.0 = တင်းကျပ် (output ကိုသင်၏အညွှန်းကိန်း၏တစ်ဦးပြန်-render ကဲ့သို့ကြည့်ရှု). 0.4 = လွယ်ကူသော (ပိုမိုလွတ်လပ်မှုရှိပါတယ် prompt ကို). ဖန်တီးမှုကွဲပြားမှုများအတွက်၎င်းကိုလျှော့ချ, သစ္စာတရားကိစ္စများအခါ၎င်းကိုမြှင့်.
512 × 512 default ကို။ SDXL စံနှုန်းအချိုးအစား - 768 × 1024 ပုံရိပ်, 1024 × 768 ရှုခင်း, 1024 × 1024 စတုရန်း - အားလုံးအလုပ်လုပ်ပါတယ်။ ကြီးမားတဲ့ output ကိုပိုပြီး VRAM နှင့် tokens တွေကိုစားသုံး; အဆိုပါ H200 အထိထောက်ခံ 1024 × 1024 သက်တောင့်သက်သာ။
ဟုတ်ကဲ့။ ControlNet generation ကိုပုံတစ်ပုံလျှင် ~1,000 tokens ကိုကုန်ကျစရိတ်, စံ SDXL generation ကိုတူညီ။ အမည်မဲ့အသုံးပြုသူများသည် 6,000 tokens / day ကိုရယူပါ၊ အခမဲ့အကောင့်တစ်ခုက 30,000 / day ကိုပေးသည်။ ငွေပေးချေမှုကဒ်မရှိ၊ ရေတံခွန်မရှိ။ အမြင့်ဆုံး resolution သို့မဟုတ်အမျိုးမျိုးသောကွဲပြားခြားနားမှုသည်ရေကန်မှပိုမိုမျှတစွာကုန်ကျစရိတ်ဖြစ်သည်။
ထိန်းချုပ်ပုံရိပ်ကိုတည်ဆောက်မှုပိုင်ဆိုင်စေပြီး prompt ကိုအခြားအရာအားလုံးပိုင်ဆိုင်စေပါ။ အကြောင်းအရာ၊ ပုံစံ၊ ပစ္စည်းများ၊ အလင်းနှင့်စိတ်နေစိတ်ထားကို prompt တွင်ဖော်ပြပါ - ဥပမာ၊ နေထိုင်ခန်း၏အနက်မြေပုံနှင့်အတူ "စကော့တလန်နေထိုင်ခန်း၊ နွေးထွေးသောမနက်အလင်း၊ သစ်ပင်ခင်း၊ photorealistic" ကို prompt လုပ်ပါ။ မလိုအပ်သောအရာများကိုဖယ်ရှားရန်အပျက်သဘောဆောင်သော prompt ကိုထည့်ပါ။ output သည်အကြံပြုချက်ကိုလွန်စွာတင်းကျပ်စွာလိုက်နာပါက၊ ထိန်းချုပ်မှုအားကိုလျှော့ချပါ။ ၎င်းကိုလျစ်လျူရှုပါက၊ စွမ်းအားကိုတိုးမြှင့်ပါ။
ComfyUI နှင့် A1111 သည် 12+ GB VRAM နှင့်အတူဒေသခံ GPU ကိုလိုအပ်သည်။ ကျွန်ုပ်တို့သည်အခမဲ့အလှည့်အပြောင်းနှင့်အတူ shared infrastructure ပေါ်တွင် run သည်။
ပထမဦးဆုံးခေါ်ဆိုမှု GPU cache ကိုထဲသို့ယူနီယံအလေးချိန် (~ 2.5 GB) ကို download လုပ်ပါနှင့် SDXL ပို့ဆောင်ရေးလိုင်းကိုအပူပေး. မျှော်လင့် 30-60 စက္ကန့်တစ်ခုဖြန့်ချိသို့မဟုတ် LRU စွန့်ပစ်ပြီးနောက်အလွန်ပထမဦးဆုံးတောင်းဆိုချက်အပေါ်. 4-7 စက္ကန့်အတွင်းပုံမှန်ဝန်ပြန်လာအောက်တွင်နောက်ဆက်တွဲခေါ်ဆိုမှုများ.
ဟုတ်ကဲ့ — POST multipart ကို /v1/image/generate/ နှင့်အတူ model = sdxl (သို့မဟုတ် model = controlnet-union-sdxl-promax), prompt ကို, control_image (ဖိုင်), control_type = <၏တစ်ခု: canny, တင်ပြ, အနက်, scribble, lineart, anime-lineart, mlsd, hed, ပျော-ဘေး, ပုံမှန်, segmentation, tile>, optional control_strength (0.1-1.5). ဆောင်သူ auth, 10K အခမဲ့ tokens / လ. /api / curl ဥပမာများရှိပါတယ်.