ControlNet — бір құралда 12 түрдегі жағдай жасау
Сілтемені жүктеп беріңіз, баптау түрін таңдаңыз, сұрау жазу. ДК сілтеменің құрылымын (жолдар, рөл, тереңдік, т. б.) сақтап, жаңа мазмұнды кез келген стильде көрсетеді. ControlNet-Union SDXL ProMax - Apache 2.0 қолдауы, толық коммерциялық пайдалануға ыңғайлы.
Нәтижесі
ControlNet қалай жұмыс істейді
ControlNet мәтін сұранысына ғана емес, сұхбат терезесіне де сүйеніп, сурет құру процесін сілтеме суреттің құрылымымен басқара аласыз. Алдын- ала өңдеуші сілтемені оқып, бір ғана реттеу сигналын - оның жиектері, тереңдік картасы, адам бейнесі, т. б. - шығарады. Диффузия моделі осы сигналға бекітіледі, ал сұрау стилі, түстері, жарығы, нысаны туралы шешім қабылданады. Нәтижесінде келтірген композиция сақталады, бірақ мүлдем жаңа көрінеді.
Бұл құрал ControlNet-Union SDXL ProMax (Apache 2.0) - төмендегі 12 жағдай түрін түсінетін бір үлгі, сондықтан әрбір ретінде басқа желіні жүктемей бір таңдағыштан олардың арасында ауысуға болады. Бұл құрал коммерциялық мақсатта қолдануға ыңғайлы: жасаған нәрселерді сақтап, сату немесе өзгерту.
12 шартты түрлер
Қайырлы таң
Шектерді анықтау. Сұлбаны нұсқау үшін және сызықтарды таза ұстау үшін.
Тереңдігі
3D тереңдік картасы. Жергілікті орналасуын сақтайды - жақын және алыс.
Поза
OpenPose дене скелеті. Суреттің тұрысын және аяқ- қолының орналасуын бұғаттайды.
Қалқалау
Оның шығармашылық жолы ақындықтан бастап, драматургияға дейін созылды.
Сегменттеу
Түстермен белгіленген аймақ картасы. Сценаның әрбір аймағын класқа бөлу.
Қалыпты
Жер бетінің қалыпты картасы. 3D бетінің бағытын және бұрыштарын сақтайды.
Сызықты
Сызықты қысқарту — қаламмен, мангамен, иллюстрациямен жұмыс істеу үшін өте қолайлы.
Жақсы жиегі
Canny- дан гөрі фигураларды жеңіл байқайтын жеңіл шекараларды анықтау.
MLSDLanguage
Тізбекті сызық сегменттері. Архитектура, интерьер, өнім суреттері үшін жасалған. Name
Қалқа
Текстуралық қасиеттері бойынша теріге ұқсас, бірақ текстурасы күрделі.
Бояу
Кескіннің тек бір бөлігін қайта құру үшін қалқаны ескеретін баптау.
Қайта бояу / сырттай бояу
Ауыспалы сызбаны кеңейту не аумақты қайта бояу, айналасындағы құрылымға әсер етпей.
Үш қадам
- Сілтеме суретін жүктеп беріңіз - фотосурет, эскиз, экраннан көрініс, немесе сақтап қалғыңыз келетін құрылымның кез келгені.
- Сізге ұнайтын баптау түрін таңдаңыз (фигура үшін - рөл, көрініс үшін - тереңдік, таза сұлба үшін - ұқыпты немесе сызықты).
- Сіз қалаған көріністі сипаттайтын және құратын сұрау жазу. Сілтемені жете орындау үшін басқару күшін арттырыңыз, шығармашылық еркіндігін арттыру үшін төмендетіңіз.
ControlNet — бір құралда 12 түрдегі жағдай жасау - FAQ
ControlNet бағдарламасы мәтін сұрауынан гөрі құрылымдық сілтеме суретімен ДК кескінін құруға мүмкіндік береді. Сілтемені жүктеп, баптау түрін таңдап (позиция, тереңдік, жиектер, сызықтар, сегментация және т. б.), сұрау жазып, SDXL бағдарламасы сілтеме құрылымыңызға сәйкес келетін жаңа кескінді құрады, оның мазмұны, стилі, түстері сөздеріңізден алынады. Бұл ControlNet-Union SDXL ProMax бағдарламасының қолдауымен орындалады - бір ғана omni- picker- дің 12 баптау түрін қолдайтын бір үлгісі.
img2img кірістіруді тікелей қайта бояйды - түстер, жиектер, ЖӘНЕ геометрия сұрау бойынша араласады. ControlNet түстерді алып тастап, тек таңдалған құрылым сигналын (сызықтар, сипаттың скелети, тереңдік картасы, т. б.) сақтайды. Бұл сізге мазмұнын толық ауыстыруға мүмкіндік береді, бірақ композицияны қатты сақтайды. img2img- тан әлдеқайда күшті құрылымдық басқару.
Canny / lineart - таза сызықтарды енгізу үшін. Anime- lineart - анимациялық стильдегі сызықтарды енгізу үшін. Scribble / soft- edge / HED - қарапайым ескіздерді және сызбаларды жасау үшін. Поза - фотосуреттегі дененің орнын көшіру үшін. Depth - көрініс геометриясын / 3D- пішімді сақтау үшін. MLSD - түзу сызықтарды (архитектура / интерьер) сақтау үшін. Normal - беттің бағытын және көлемін сақтау үшін. Segmentation - аймақтарды сақтау үшін. Tile - бар кескінді жақсарту немесе масштабын арттыру үшін.
ControlNet- Union SDXL ProMax (xinsir, Apache 2. 0) барлық 12 жағдай желілерін бір 2. 5 ГБ салмаққа сыйғызады. Ескірген орналастырулар әрбір түрі үшін бөлек ~2. 5 ГБ салмақты жүктеп алады - canny мен pose арасында ауысу салқын бастауды білдіреді. Бірлестік үлгісі бір рет жүктеліп, жылы күйде қалады, сондықтан әрбір жағдай түрі бірінші шақырудан кейін секунд ішінде орындалады.
Иә. ~1,200 жетон бір рендер үшін (1,000 негізгі SDXL + 20% ControlNet шарттары үшін қосымша төлем). Кіруі бар пайдаланушы күн сайын 30,000 тегін жетон алады - күн сайын шамамен 25 шартты рендерлер тегін. Анонимді: 2,500 жетон/ күн (~2 рендер).
Иә - Басқару күші жүгірткісі (әдетте 0, 7) шығаруыңыздың сілтемеңізге қаншалықты сәйкес келетінін анықтайды. 1. 0 = қатал (шығаруыңыз сілтемеңіздің қайталануы сияқты көрінеді). 0. 4 = жеңіл (сұрауыңызға еркіндік беріледі). Тұлғалық өзгерістер үшін төмендетіңіз, дәлдігі маңызды болса, көтеріңіз.
Әдетті 512x512. SDXL стандартты пропорциялары - 768x1024 тік, 1024x768 көлденең, 1024x1024 шаршы - барлығы жұмыс істейді. Үлкен шығыс VRAM және токендерді көп жұмсайды; H200 1024x1024- ке дейінгі ыңғайлы қолдайды.
Иә. ControlNet генерациясы бір сурет үшін ~1,000 жетонға тұрады, стандартты SDXL генерациясымен бірдей. Анонимді пайдаланушы күн сайын 6,000 жетон алады, тегін тіркелгі күн сайын 30,000 жетон алады. Кредит картасы, сулы белгісі жоқ. Жоғары ажыратымдылық немесе бірнеше нұсқалары үшін пропорционалды түрде көбірек ақша төленеді.
Басқару кескіні құрылымның иесі, ал сұрау барлық басқасын иесі болсын. Сұрауында тақырып, стиль, материалдар, жарық пен көңіл- күйді сипаттаңыз, мысалы, қонақ бөлмесінің тереңдік картасы, "Скандинавиялық қонақ бөлме, таңертеңгі жылы жарық, ағаш қабырға, фотореалисті" деген сұрау. Қажетсіз элементтерді алып тастау үшін кері сұрауды қосыңыз. Егер шығару сілтемеге тым қатты сәйкес келсе, басқару күшін жеңілдетіңіз; егер оны елемесе, күшін арттырыңыз.
Бірдей модель, бірдей сапа, бірдей жағдай сигналдары. ComfyUI және A1111 үшін 12+ ГБ VRAM және орнатылған жергілікті графикалық процессор қажет. Біз оны ортақ инфрақұрылыммен, кең ауқымды еркін қормен орындаймыз - орнату керек емес, графикалық процессор қажет емес.
Бірінші шақыру Union жүктемесін (~2. 5 ГБ) графикалық процессор кэшіне жүктеп алып, SDXL конвейерін қыздырады. Орнату немесе LRU- ны шығару кезіндегі алғашқы шақыру 30- 60 секундты алады. Келесі шақырулар әдетте 4- 7 секунд ішінде қайтарылады.
Иә — /v1/image/generate/-ге POST multipart with model=sdxl (немесе model=controlnet-union-sdxl-promax), prompt, control_image (file), control_type=<one of: canny, pose, depth, scribble, lineart, anime-lineart, mlsd, hed, soft-edge, normal, segmentation, tile>, optional control_strength (0.1-1.5). Bearer auth, 10K free tokens/month. /api/ has curl examples.