ControlNet — 12 တစ်ခု tool ကိုထဲမှာ conditioning အမျိုးအစားများ
မှတ်ချက်တစ်ခုပုံရိပ်ကို upload, conditioning အမျိုးအစားကို pick, တောင်းဆိုချက်ကိုရေးသားပါ။ AI ကသင့်ရဲ့မှတ်ချက်ရဲ့ဖွဲ့စည်းပုံကိုထိန်းသိမ်းထားသည် (လိုင်းများ, တင်, အနက်, စသည်တို့ကို) နှင့်မည်သည့်စတိုင်တွင်အသစ်သောအကြောင်းအရာများကို renders ။ ControlNet-Union SDXL ProMax အားဖြင့်ထောက်ခံ - Apache 2.0, လုံးဝကုန်သွယ်-အသုံးပြုမှုဖော်ရွေ။
ရလဒ်
ControlNet အလုပ်လုပ်ပုံ
ControlNet သင့်ကိုသာစာသား prompt ကိုအပေါ်မှီခိုအစားအကြံပြုချက်ပုံရိပ်၏ဖွဲ့စည်းပုံနှင့်အတူပုံရိပ်မျိုးဆက်ကိုထိန်းချုပ်နိုင်သည်။ preprocessor ကိုသင်၏အကြံပြုချက်ကိုဖတ်ပြီးတစ်ခုတည်း conditioning အချက်ပြထုတ်ယူ - ၎င်း၏ဘေး, ၎င်း၏နက်ရှိုင်းသောမြေပုံ, လူတစ်ဦး၏ pose ရိုးရိုး, နှင့်ထိုကဲ့သို့သော. ထိုအခါပြတင်းပေါက်က style ကိုဆုံးဖြတ်နေစဉ် diffusion ပုံစံကိုထိုအချက်ပြသို့ lock ထားသည်, အရောင်များ, အလင်းရောင်, နှင့်အကြောင်းအရာ.
ဤ tool ကို ControlNet-UnionSDXL ProMax (Apache 2.0) အားဖြင့်ထောက်ခံသည် — အားလုံးနားလည်သောတစ်ခုတည်းသောမော်ဒယ် 12 အောက်ပါ conditioning အမျိုးအစားများ, ဒါကြောင့်သင်တစ်ချိန်ကတစ်ချိန်တည်းမှာကွဲပြားခြားနားသောကွန်ယက်ကို load မပါဘဲတစ်ဦး picker မှသူတို့အကြား switch ကို. ဒါဟာလုံးဝစီးပွားရေးလုပ်ငန်း-အသုံးပြုမှုဖော်ရွေဖြစ်ပါသည်: ထိန်းသိမ်း, ရောင်းချ, သို့မဟုတ်သင်ထုတ်လုပ်ဘာမှပြုပြင်.
အဆိုပါ 12 conditioning အမျိုးအစားများ
ဆန်းတယ်
crisp edge ကိုရှာဖွေတွေ့ရှိ. ပြင်းထန်သော outlines နှင့်ရှင်းလင်း linework ကိုထိန်းသိမ်းရန်အတွက်အကောင်းဆုံး.
အနက်
3D နက်နဲမှုမြေပုံ. နေရာချထားမှု layout ကိုထိန်းသိမ်းထားသည် - ဘာကနီးကပ်ပြီးဘာကအဝေးမှာ.
နေရာချထားမှု
OpenPose ခန္ဓာကိုယ် အရိုးစု။ ပုံရဲ့ အနေအထားနဲ့ အရိုးစု နေရာတွေကို ပိတ်ထားတယ်။
ရေးဆွဲပါ
လက်ဖြင့် ရေးဆွဲထားသော ရေးဆွဲချက်များမှ အနုပညာ အဖြစ် ပြောင်းလဲသွားသည်။
ပိုင်းဖြတ်ခြင်း
အရောင်ကုဒ် သတ်မှတ်ထားတဲ့ ဒေသမြေပုံ။ မြင်ကွင်းတစ်ခုစီရဲ့ ဧရိယာတစ်ခုစီကို တန်းတစ်ခုကို ခွဲဝေပေးပါ။
ပုံမှန်
မျက်နှာပြင်-ပုံမှန်မြေပုံ။ Fine 3D မျက်နှာပြင် orientation နှင့် bumps ကိုထိန်းသိမ်းထားသည်။
လိုင်းအနုပညာ
Fine line extraction — ink, manga, and illustration များအတွက် အသင့်တော်ဆုံး။
ပါးလွှာတဲ့ အပြင်အဆင်
Canny ထက် ပုံစံများကို ပိုမို လွတ်လပ်စွာ လိုက်နာသော ရိုးရှင်းသော နယ်နိမိတ် ရှာဖွေမှု။
MLSD
ရိုးရှင်းတဲ့လိုင်း segments. ဗိသုကာအတွက်ပြုလုပ်, အတွင်းပိုင်း, နှင့်ထုတ်ကုန်ရိုက်ချက်.
ပြားချပ်ချပ်
upscaling နှင့်ဆက်စပ် texture အလုပ်များအတွက်အသေးစိတ်-ထိန်းသိမ်းစောင့်ရှောက် conditioning ။
ရေးဆွဲပါ
ရုပ်ပုံရဲ့ အစိတ်အပိုင်းကိုသာ ပြန်ဖန်တီးဖို့ မျက်နှာဖုံး-သိမြင်မှု အခြေအနေ
ထပ်ရေးဆွဲ / ထပ်ရေးဆွဲ
ပတ်ဝန်းကျင် တည်ဆောက်ပုံကို လေးစားပြီး ပင်နတ်ကို တိုးချဲ့ပါ ဒါမှမဟုတ် ဧရိယာကို ပြန်ရေးဆွဲပါ
သုံးဆင့်
- ဓာတ်ပုံတစ်ပုံ၊ ပန်းချီကားတစ်ပုံ၊ မျက်နှာပြင်ပုံတစ်ပုံ၊ သင့်အနေဖြင့် သိမ်းဆည်းလိုသော တည်ဆောက်ပုံနှင့် ပတ်သက်သော အရာတစ်ခုခုကို တင်ပါ။
- သင်အကြောင်းကိုဂရုစိုက်ဘာကိုကိုက်ညီ conditioning အမျိုးအစား Pick (ပုံတစ်ပုံအတွက် posture, မြင်ကွင်းအတွက်အနက်, ရှင်းရှင်းလင်းလင်း outlines များအတွက် canny သို့မဟုတ် lineart).
- သင်လိုချင်တဲ့ကြည့်ရှုခြင်းနှင့်ထုတ်လုပ်ဖော်ပြချက် prompt ကိုရေးသား. ပိုပြီးတင်းကျပ်စွာအညွှန်းကိုလိုက်နာရန်ထိန်းချုပ်မှုစွမ်းအားကိုမြှင့်, ပိုပြီးဖန်တီးမှုလွတ်လပ်ခွင့်အတွက်လျော့ချ.
ControlNet — 12 တစ်ခု tool ကိုထဲမှာ conditioning အမျိုးအစားများ — FAQ
အားလုံးကိုပြသသောတစ်ခုတည်းသော tool ကို 12 ControlNet-Union SDXL ProMax မော်ဒယ်မှ conditioning အမျိုးအစားများ - canny, တင်ပြ, အနက်, scribble, lineart, anime-lineart, MLSD, HED, soft-edge, ပုံမှန်, segmentation, နှင့် tile ကို။ conditioning အမျိုးအစားကိုရွေးပါ, ရည်ညွှန်းပုံရိပ်ကို Drop, တောင်းဆိုချက်ကိုရေးသား, နှင့် SDXL သင့်ရဲ့ရည်ညွှန်း၏ဖွဲ့စည်းပုံကိုလိုက်နာတဲ့အသစ်တစ်ခုကိုပုံရိပ်ကို renders ။
img2img အပေါ်တိုက်ရိုက် input ကို re-paints — အရောင်များ, edge, နှင့် prompt ကိုနှင့်အတူဂျီသြမေတြီရောနှော. ControlNet အရောင်များကိုပစ်ချပြီးရွေးချယ်ထားသောဖွဲ့စည်းပုံကိုသာအချက်ပြထားပါတယ် (လိုင်းများ, တင်ပြအရိုးစု, အနက်ကမြေပုံ, စသည်တို့ကို). ဖွဲ့စည်းပုံကျောက်ခဲခိုင်မာအောင်ထားစဉ်သင် radically အကြောင်းအရာ swap ပေးပါတယ်. img2img ထက်အတော်လေးခိုင်မာတဲ့ဖွဲ့စည်းပုံကိုထိန်းချုပ်မှု.
ရှင်းလင်း linework input ကိုများအတွက် Canny / lineart. anime-style လိုင်း input ကိုများအတွက် Anime-lineart. ရေးဆွဲ / soft-edge / HED များအတွက်ခက်ခဲပုံကြမ်းနှင့် doodles. ဓာတ်ပုံတစ်ပုံမှကိုယ်ခန္ဓာအနေအထားကိုကူးယူရန် Pose. မြင်ကွင်းဂျီသြမေတြီ / 3D layout ကိုထိန်းသိမ်းရန်အနက်. MLSD တိကျသောလိုင်းများကိုထိန်းသိမ်းရန် (ဗိသုကာ / အတွင်းပိုင်း). ပုံမှန်မျက်နှာပြင်အညွှန်းကိန်းနှင့်အသံပမာဏကိုထိန်းသိမ်းရန်. ဒေသများကိုထိန်းသိမ်းရန် Segmentation. တည်ရှိသောပုံရိပ်၏အပြောင်းအလဲများကိုကောင်းမွန်အောင်သို့မဟုတ်အဆင့်မြှင့်ရန် tile.
ControlNet-Union SDXL ProMax (xinsir, Apache 2.0) တစ်ခုတည်း 2.5 GB အလေးချိန်ထဲသို့အားလုံး 12 conditioning ကွန်ယက်များကိုထုပ်ပိုး. အဟောင်းဖြန့်ချိအမျိုးအစားတစ်မျိုးစီအသီးသီး ~ 2.5 GB အလေးချိန် download လုပ်ပါ - canny နှင့် pose အကြား switching ကိုအေးစက်-စတင်ဆိုလိုသည်။ အဖွဲ့ချုပ်မော်ဒယ်တစ်ကြိမ် loads နှင့်နွေးနေသည်, ဒါကြောင့်အားလုံး conditioning အမျိုးအစားပထမဦးဆုံးခေါ်ဆိုမှုပြီးနောက် sub-စက္ကန့်ဖြစ်ပါသည်.
ဟုတ်ကဲ့။ ~1,200 render တစ်ဦးချင်း tokens (1,000 အခြေခံ SDXL + 20% ControlNet conditioning ကုန်ကျစရိတ်). မှတ်ပုံတင်အသုံးပြုသူများကိုရ 30,000 အခမဲ့နေ့စဉ် tokens — အကြောင်းကို 25 ကုန်ကျစရိတ်မရှိဘဲတစ်နေ့လျှင် conditioned renders. အမည်မဲ့: 2,500 tokens / ရက် (~2 renders).
ဟုတ်ကဲ့ — ထိန်းချုပ်မှုစွမ်းအား slider ကို (စံ 0.7) output ကိုသင်၏အညွှန်းကိန်းကိုလိုက်နာဘယ်လောက်တင်းကျပ်စွာဆုံးဖြတ်. 1.0 = တင်းကျပ် (output ကိုသင်၏အညွှန်းကိန်း၏တစ်ဦးပြန်-render ကဲ့သို့ကြည့်ရှု). 0.4 = လွယ်ကူသော (ပိုမိုလွတ်လပ်မှုရှိပါတယ် prompt ကို). ဖန်တီးမှုကွဲပြားမှုများအတွက်၎င်းကိုလျှော့ချ, သစ္စာတရားကိစ္စများအခါ၎င်းကိုမြှင့်.
512 × 512 default ကို။ SDXL စံနှုန်းအချိုးအစား - 768 × 1024 ပုံရိပ်, 1024 × 768 ရှုခင်း, 1024 × 1024 စတုရန်း - အားလုံးအလုပ်လုပ်ပါတယ်။ ကြီးမားတဲ့ output ကိုပိုပြီး VRAM နှင့် tokens တွေကိုစားသုံး; အဆိုပါ H200 အထိထောက်ခံ 1024 × 1024 သက်တောင့်သက်သာ။
ရည်ညွှန်းပုံရိပ်များကိုချက်ချင်းစီမံခန့်ခွဲကြသည်, conditioning ကိုထုတ်ယူသည်, ထို့နောက်ရည်ညွှန်းဖိုင်ကိုဖျက်ပစ်သည်. တစ်ခုတည်းသော prompt ကို + နောက်ဆုံး render ကို / account /?tab = သမိုင်းအပေါ်ကျန်ရစ်. သင်တန်းအတွက်မသုံးပါ. / privacy / အပြည့်အဝမူဝါဒအတွက်.
ControlNet-Union SDXL ProMax သည် Apache 2.0 အောက်တွင်ထုတ်ပြန်သည် - စီးပွားရေးလုပ်ငန်းသုံးစွဲမှုအပါအ ၀ င်လုံးဝခွင့်ပြုသည်။ SDXL အခြေခံသည် OpenRAIL + + ဖြစ်သည်။ နှစ် ဦး စလုံးသည်စီးပွားရေးလုပ်ငန်းသုံးစွဲမှုကိုခွင့်ပြုသည်။ သင်၏ထုတ်လုပ်ထားသောပုံရိပ်များသည်သင်၏ပိုင်ဆိုင်မှုဖြစ်ပြီးကုန်သွယ်ရေးအတွက် royalties မရှိပါ။
ComfyUI နှင့် A1111 သည် 12+ GB VRAM နှင့်အတူဒေသခံ GPU ကိုလိုအပ်သည်။ ကျွန်ုပ်တို့သည်အခမဲ့အလှည့်အပြောင်းနှင့်အတူ shared infrastructure ပေါ်တွင် run သည်။
ပထမဦးဆုံးခေါ်ဆိုမှု GPU cache ကိုထဲသို့ယူနီယံအလေးချိန် (~ 2.5 GB) ကို download လုပ်ပါနှင့် SDXL ပို့ဆောင်ရေးလိုင်းကိုအပူပေး. မျှော်လင့် 30-60 စက္ကန့်တစ်ခုဖြန့်ချိသို့မဟုတ် LRU စွန့်ပစ်ပြီးနောက်အလွန်ပထမဦးဆုံးတောင်းဆိုချက်အပေါ်. 4-7 စက္ကန့်အတွင်းပုံမှန်ဝန်ပြန်လာအောက်တွင်နောက်ဆက်တွဲခေါ်ဆိုမှုများ.
ဟုတ်ကဲ့ — POST multipart ကို /v1/image/generate/ နှင့်အတူ model = sdxl (သို့မဟုတ် model = controlnet-union-sdxl-promax), prompt ကို, control_image (ဖိုင်), control_type = <၏တစ်ခု: canny, တင်ပြ, အနက်, scribble, lineart, anime-lineart, mlsd, hed, ပျော-ဘေး, ပုံမှန်, segmentation, tile>, optional control_strength (0.1-1.5). ဆောင်သူ auth, 10K အခမဲ့ tokens / လ. /api / curl ဥပမာများရှိပါတယ်.