ControlNet — 12 тыпаў кандыцыянавання ў адным інструменце
Загрузіце малюнак, выберыце тып кандыцыянавання, напішыце запыт. Штучны інтэлект захоўвае структуру малюнка (лініі, пазіцыі, глыбіню і г. д.) і рэндеруе новы змест у любым стылі. Падтрымліваецца ControlNet- Union SDXL ProMax — Apache 2. 0, зручны для выкарыстання ў камерцыйных мэтах.
Вынікі
Як працуе ControlNet
ControlNet дазваляе кіраваць стварэннем малюнка з дапамогай структуры спасылкі на малюнак, а не толькі тэкставай запыты. Працэсар чытае вашу спасылку і выводзіць адзіны кандыцыянаваны сігнал - яго краю, яго глыбіню, пазу і г. д. Модэль дыфузіі затым замацоўваецца за гэтым сігналам, а запрашэнне вызначае стыль, колеры, асвятленне і аб' ект. Рэзультат захоўвае тую ж кампазіцыю, якую вы ўвялі, але выглядае як нешта зусім новае.
Гэтая праграма падтрымліваецца ControlNet-UnionSDXL ProMax (Apache 2.0) - адзінай мадэллю, якая разумее ўсе 12 тыпаў умоваў ніжэй, так што вы можаце пераключацца паміж імі з аднаго пікера без загрузкі розных сетак кожны раз. Гэтая праграма цалкам падыходзіць для камерцыйнага выкарыстання: захоўвайце, прадайце або змяніце тое, што вы стварылі.
12 тыпаў умоваў
Смешна
Выяўленне рэзкіх краёў. Лепшы для захавання рэзкіх кантураў і чыстай лініі.
Глыбіня
Трохмерная карта глыбіні. Захоўвае прасторавую раскладку - што блізка, а што далёка.
Паза
Скелет цела OpenPose. Замацоўвае становішча цела і канечнасцей.
Заклейванне
У выніку гістарычныя традыцыі ператварыліся ў сучасныя.
Сегменты
Карта рэгіёну з колеравай кодыроўкай. Прызначыць кожную частку сцэны класу.
Звычайны
Карта з нармалёвай паверхняй. Захоўвае 3D арыентацыі паверхні і выбоіны.
Лінейнае мастацтва
У ёй выяўлены ідэалы ідэалізму, індывідуалізму, індывідуалізму і індывідуалізму.
Мягкія краю
У ёй выяўлены фрагменты дрэва, якія датуюцца больш познім перыядам, чым кананічныя.
МЛСД
Адрэзы прамых ліній. Створаны для архітэктуры, інтэр' еру і здымкаў прадуктаў. Name
Плітка
У ёй вызначаны перыядычныя выданні і невыдадзеныя творы.
Маляванне
У ёй гаворыцца, што ідэя рэвалюцыі павінна быць толькі часткай рэвалюцыі.
Перамаляваная / перамаляваная
Пашырыць палітру або перамаляваныя вобласці, захоўваючы структуру наваколля.
Тры крокі
- Загрузіць малюнак - фота, эскіз, скрыншот, што заўгодна са структурай, якую вы хочаце захаваць.
- Выберыце тып умовы, які адпавядае таму, што вам важна (поза для фігуры, глыбіня для сцэны, шчыльнасць або лінейнасць для чыстых кантураў).
- Напішыце падказку, якая апісвае, як вы хочаце выглядаць і генераваць. Павялічце сілу кантролю, каб больш дакладна выконваць спасылку, паменшыце яе для большай творчай свабоды.
ControlNet — 12 тыпаў кандыцыянавання ў адным інструменце — FAQ
Адзін інструмент, які паказвае ўсе 12 тыпаў умоваў з мадэлі ControlNet- Union SDXL ProMax - canny, pose, depth, scribble, lineart, anime- lineart, MLSD, HED, soft- edge, normal, segmentation і tile. Выберыце тып умовы, пакладзіце спасылку на малюнак, напішыце запыт, і SDXL адлюструе новы малюнак, які будзе адпавядаць структуры вашага спасылкі.
img2img перамалюе ўводныя дадзеныя без прамежкаў - колеры, межы, І геаметрыя змешваюцца з запытам. ControlNet выкідае колеры і захоўвае толькі выбраны структурны сігнал (лініі, пазу, глыбіню і г. д.). Гэта дазваляе вам радыкальна змяняць змест, захоўваючы кампазіцыю цалкам. Надзвычай моцнае кіраванне структурай, чым у img2img.
Канны / лінейны для чыстай лінійнай працы. Anime- лінейны для лінійнага ўводу ў стылі анімі. Scribble / soft- edge / HED для грубага графічнага малюнка і карцінкі. Поза для капіявання пазіцыі цела з фота. Глыбіня для захавання геаметрыі сцэны / 3D раскладкі. MLSD для захавання прамых ліній (архітэктура / інтэр' ер). Звычайны для захавання арыентацыі і аб' ёму паверхні. Сегментацыя для захавання рэгіёнаў. Пліткі для ўдасканальвання або павышэння маштабаў існуючых малюнкаў.
ControlNet- Union SDXL ProMax (xinsir, Apache 2. 0) спакуе ўсе 12 сетак кандыцыянавання ў адну 2. 5 ГБ масу. Старэйшыя разгортванні загружалі адну ~2. 5 ГБ масу на тып - пераключэнне паміж canny і pose азначала халодны старт. Модэль злучэння загружаецца адзін раз і застаецца гарачай, таму кожны тып кандыцыянавання ў секунду пасля першага выкліку.
Так. ~ 1, 200 знакаў за рэндынг (1, 000 базовых SDXL + 20% даплата за ўмяшанне ў ControlNet). Уваходныя карыстальнікі атрымліваюць 30, 000 бясплатных знакаў штодня - каля 25 умовных рэндынгаў у дзень бясплатна. Анонімныя: 2, 500 знакаў/ дзень (~ 2 рэндынгу).
Так - паліца "Надзейнасць кіравання" (па змаўчанні 0. 7) вызначае, наколькі строга вывад будзе адпавядаць вашай спасылцы. 1. 0 = строгі (вывад выглядае як пераадлюстраванне вашай спасылкі). 0. 4 = лёгкі (падказка мае больш свабоды). Зменшыце яе для творчых змен, павялічвайце, калі важная дакладнасць.
Па змаўчанні 512×512. Стандартныя прапорцыі SDXL — 768×1024 партрэт, 1024×768 пейзаж, 1024×1024 квадрат — усе працуюць. Большыя вывады спажываюць больш VRAM і токенаў; H200 камфортна падтрымлівае да 1024×1024.
Справаздачныя малюнкі апрацоўваюцца неадкладна, умовы выцягваюцца, а потым справаздачны файл выдаляецца. Толькі запыт + канчатковы рэндынг застаюцца ў / account/? tab=history. Ніколі не выкарыстоўваецца для трэніровак. / privacy/ для поўнай палітыкі.
ControlNet- Union SDXL ProMax выпушчаны пад ліцэнзіяй Apache 2. 0 — поўнасцю дазволены, уключаючы камерцыйнае выкарыстанне. База SDXL - OpenRAIL++. Абедзве дазваляюць камерцыйнае выкарыстанне; вашы створаныя малюнкі могуць быць выкарыстаны вамі для камерцыйнага выкарыстання без аплаты аўтарскіх правоў.
Тая ж мадэль, тае ж якасць, тыя ж кандыцыянаваныя сігналы. ComfyUI і A1111 патрабуюць мясцовага графічнага працэсара з 12+ ГБ VRAM і наладкай. Мы запускаем яго на агульнай інфраструктуры з вялікай бясплатнай прасторы - не патрабуецца ўстаноўка, не патрэбны графічны працэсар.
Першы выклік загружае масу Union (~ 2. 5 ГБ) у кэш GPU і нагрэвае канвеер SDXL. Першы запыт пасля разгортвання або высялення LRU можа заняць 30- 60 секунд. Паслядоўныя выклікі пры звычайнай нагрузке вяртаюцца праз 4- 7 секунд.
Так — POST multipart to /v1/image/generate/ with model=sdxl (or model=controlnet-union-sdxl-promax), prompt, control_image (file), control_type=<one of: canny, pose, depth, scribble, lineart, anime-lineart, mlsd, hed, soft-edge, normal, segmentation, tile>, optional control_strength (0.1-1.5). Bearer auth, 10K free tokens/month. /api/ has curl examples.