ControlNet — бір құралда 12 түрдегі жағдай жасау
Сілтемені жүктеп, баптау түрін таңдап, сұрау жазу. ДК сілтеменің құрылымын (жолдар, қырлары, тереңдігі, т. б.) сақтап, жаңа мазмұнды кез келген стильде көрсетеді. ControlNet- Union SDXL ProMax — Apache 2. 0 қолдауы, толық коммерциялық пайдалануға ыңғайлы.
Нәтижесі
ControlNet қалай жұмыс істейді
ControlNet тек мәтіндік сұрау арқылы емес, суреттің құрылымын пайдалану арқылы суретті құруға мүмкіндік береді. Препроцессор сіздің сұрауыңызды оқып, бір ғана жағдай сигналын - оның жиектері, тереңдігі, адам бейнесі және т. б. - шығарады. Содан кейін диффузия моделі осы сигналға бекітіледі, ал сұрау стилі, түстері, жарығы және нысаны туралы шешім қабылдайды. Нәтижесі келтірген композицияның түпнұсқасы болып қалады, бірақ мүлдем жаңа көрінеді.
Бұл құрал ControlNet-UnionSDXL ProMax (Apache 2.0) - төмендегі 12 жағдайдың барлығын түсінетін бір үлгі, сондықтан әрбір рет басқа желіні жүктемей бір таңдағыштан олардың арасында ауысуға болады. Бұл құрал толықтай коммерциялық пайдалануға ыңғайлы: жасаған нәрсеңізді сақтаңыз, сатыңыз немесе өзгертіңіз.
12 шартты түрлер
Қайырлы таң
Шектерді анықтау. Сұлбаны нұсқау үшін және сызықтарды таза ұстау үшін.
Тереңдігі
3D тереңдік картасы. Жергілікті орналасуын сақтайды - жақын және алыс.
Поза
OpenPose дене скелеті. Суреттің тұрысын және аяқ- қолының орналасуын бұғаттайды.
Қалқалау
Оның шығармашылық жолы ақындықтан бастап, драматургияға дейін созылды.
Сегменттеу
Түстермен белгіленген аймақ картасы. Сценаның әрбір аймағын класқа бөлу.
Қалыпты
Жер бетінің қалыпты картасы. 3D бетінің бағытын және бұрыштарын сақтайды.
Сызықты
Сызықты қысқарту — қаламмен, мангамен, иллюстрациямен жұмыс істеу үшін өте қолайлы.
Жақсы жиегі
Canny- дан гөрі фигураларды жеңіл байқайтын жеңіл шекараларды анықтау.
MLSDLanguage
Тізбекті сегменттер. Архитектура, интерьер, өнім суреттері үшін жасалған. Name
Қалқа
Текстуралық қасиеттері бойынша теріге ұқсас, бірақ текстурасы күрделі.
Бояу
Кескіннің тек бір бөлігін қайта құру үшін қалқаны ескеретін баптау.
Қайта бояу / сырттай бояу
Ауыспалы сызбаны кеңейту не аумақты қайта бояу, айналасындағы құрылымға әсер етпей.
Үш қадам
- Сілтеме суретін жүктеп беріңіз - фотосурет, эскиз, экраннан түсіру, немесе сақтағыңыз келетін құрылымның кез келгенін.
- Сізге ұнайтын баптау түрін таңдаңыз (фигура үшін - рөл, көрініс үшін - тереңдік, таза сұлба үшін - ұқыпты немесе сызықты).
- Сіз қалаған көріністі сипаттайтын және құратын сұрау жазу. Сілтемені жете орындау үшін басқару күшін арттырыңыз, шығармашылық еркіндігін арттыру үшін төмендетіңіз.
ControlNet — бір құралда 12 түрдегі жағдай жасау — FAQ
ControlNet- Union SDXL ProMax үлгісінің барлық 12 жағдай түрін көрсететін бір құрал: canny, pose, depth, scribble, lineart, anime- lineart, MLSD, HED, soft- edge, normal, segmentation, және tile. Қалыпты жағдай түрін таңдап, сілтеме кескінін алып тастап, сұрау жазу арқылы SDXL сілтеменің құрылымына сәйкес келетін жаңа кескінді көрсетеді.
img2img кірістіруді тікелей қайта бояйды - түстер, жиектер, ЖӘНЕ геометрия сұрау бойынша араласады. ControlNet түстерді алып тастап, тек таңдалған құрылым сигналын (сызықтар, сипаттың скелети, тереңдік картасы, т. б.) сақтайды. Бұл сізге мазмұнын толық ауыстыруға мүмкіндік береді, бірақ композицияны қатты сақтайды. img2img- тан әлдеқайда күшті құрылымдық басқару.
Canny / lineart - таза сызықтарды енгізу үшін. Anime- lineart - анимациялық стильдегі сызықтарды енгізу үшін. Scribble / soft- edge / HED - қарапайым ескіздерді және сызбаларды жасау үшін. Поза - фотосуреттегі дененің орнын көшіру үшін. Depth - көрініс геометриясын / 3D- пішімді сақтау үшін. MLSD - түзу сызықтарды (архитектура / интерьер) сақтау үшін. Normal - беттің бағытын және көлемін сақтау үшін. Segmentation - аймақтарды сақтау үшін. Tile - бар кескінді жақсарту немесе масштабын арттыру үшін.
ControlNet- Union SDXL ProMax (xinsir, Apache 2. 0) барлық 12 жағдай желілерін бір 2. 5 ГБ салмаққа сыйғызады. Ескірген орналастырулар әрбір түрі үшін бөлек ~2. 5 ГБ салмақты жүктеп алады - canny мен pose арасында ауысу салқын бастауды білдіреді. Бірлестік үлгісі бір рет жүктеліп, жылы күйде қалады, сондықтан әрбір жағдай түрі бірінші шақырудан кейін секунд ішінде орындалады.
Иә. ~1,200 жетон бір рендер үшін (1,000 негізгі SDXL + 20% ControlNet шарттары үшін қосымша төлем). Кіруі бар пайдаланушы күн сайын 30,000 тегін жетон алады - күн сайын шамамен 25 шартты рендерлер тегін. Анонимді: 2,500 жетон/ күн (~2 рендер).
Иә - Басқару күші жүгірткісі (әдетте 0, 7) шығаруыңыздың сілтемеңізге қаншалықты сәйкес келетінін анықтайды. 1. 0 = қатал (шығаруыңыз сілтемеңіздің қайталануы сияқты көрінеді). 0. 4 = жеңіл (сұрауыңызға еркіндік беріледі). Тұлғалық өзгерістер үшін төмендетіңіз, дәлдігі маңызды болса, көтеріңіз.
Әдетті 512x512. SDXL стандартты пропорциялары - 768x1024 тік, 1024x768 көлденең, 1024x1024 шаршы - барлығы жұмыс істейді. Үлкен шығыс VRAM және токендерді көп жұмсайды; H200 1024x1024- ке дейінгі ыңғайлы қолдайды.
Сілтеме суреттері бірден өңделеді, жағдайы тарқатылады, содан кейін сілтеме файлы өшіріледі. Тек сұрау + соңғы рендеринг / account/? tab=history дегенде қалады. Ешқашан да жаттығулар үшін қолданылмайды. Толық ережені / privacy/ дегеннен көруге болады.
ControlNet- Union SDXL ProMax Apache 2. 0 лицензиясымен шығарылады - коммерциялық пайдалануға да толық рұқсат етілген. SDXL негізін OpenRAIL++ құрайды. Екеуі де коммерциялық пайдалануға рұқсат береді; сіздің жасаған кескініңізді коммерциялық пайдалануға авторлық ақысыз пайдалана аласыз.
Бірдей модель, бірдей сапа, бірдей жағдай сигналдары. ComfyUI және A1111 үшін 12+ ГБ VRAM және орнатылған жергілікті графикалық процессор қажет. Біз оны ортақ инфрақұрылыммен, кең ауқымды еркін қормен орындаймыз - орнату керек емес, графикалық процессор қажет емес.
Бірінші шақыру Union жүктемесін (~2. 5 ГБ) графикалық процессор кэшіне жүктеп алып, SDXL конвейерін қыздырады. Орнату немесе LRU- ны шығару кезіндегі алғашқы шақыру 30- 60 секундты алады. Келесі шақырулар әдетте 4- 7 секунд ішінде қайтарылады.
Иә — /v1/image/generate/-ге POST multipart with model=sdxl (немесе model=controlnet-union-sdxl-promax), prompt, control_image (file), control_type=<one of: canny, pose, depth, scribble, lineart, anime-lineart, mlsd, hed, soft-edge, normal, segmentation, tile>, optional control_strength (0.1-1.5). Bearer auth, 10K free tokens/month. /api/ has curl examples.