ControlNet — 12 lloje kondicionimesh në një instrument
Ngarko një figurë referuese, zgjedh një tip kushtëzimi, shkruaj një pyetje. AI mban strukturën e referencës (vija, pozitë, thellësi, etj.) dhe krijon përmbajtje të re në çdo stil. Mbështetur nga ControlNet-Union SDXL ProMax - Apache 2.0, krejtësisht i përshtatshëm për përdorim komercial.
Rezultati
Si funksionon ControlNet
ControlNet të lejon të drejtosh krijimin e imazheve me strukturën e një imazhi referuese në vend që të mbështetesh vetëm tek kërkesa e tekstit. Një paraprocesor lexon referencën dhe nxjerr një sinjal të vetëm kushtëzues - skajet e saj, hartën e thellësisë së saj, skeletin e posaçëm të një personi, etj. Modeli i shpërndarjes pastaj bllokohet tek ky sinjal ndërsa kërkesa vendos stilin, ngjyrat, ndriçimin dhe subjektin. Rezultati mban kompozimin e saktë që ke futur, por duket si diçka krejt e re.
Ky instrument mbështetet nga ControlNet-Union SDXL ProMax (Apache 2.0) — një model i vetëm që kupton të gjitha 12 llojet e kushtëzimit më poshtë, kështu që mund të ndërrosh mes tyre nga një zgjedhës pa ngarkuar një rrjet të ndryshëm çdo herë. Është krejtësisht i përshtatshëm për përdorim komercial: mbaj, shit ose ndrysho çdo gjë që krijon.
12 llojet e kushtëzimit
Canny
Zbulimi i skajeve të mprehta. Më i miri për ruajtjen e kontureve të mprehta dhe të linjave të pastra.
Thellësia
Harta e thellësive 3D. Ruan hapësirën e hapësirës - çfarë është pranë dhe çfarë është larg.
Pozo
Skeleti i trupit OpenPose. Bllokon pozicionet e figurave dhe të gjymtyrëve.
Scribble
Skarbëzat e vogla të vizatuara me dorë u kthyen në art të plotë.
Segmentimi
Harta e rajonit me ngjyra. Assign çdo zonë e skenës në një klasë.
Normale
Harta e sipërfaqes normale. Ruan orientimin e sipërfaqes 3D dhe gërvishtjet.
Artë lineare
Ekstrakti i linjave të hollë — ideal për bojë, manga dhe ilustrim.
Soft-edge
Zbulimi i kufijve të butë që ndjek forma më lehtë se Canny.
MLSD
Segmente të drejta, të bërë për arkitekturë, interier dhe fotografi të produkteve.
Pllakëza
Kushtëzimi i ruajtjes së detajeve për rritjen e shkallës dhe punën e pafundme të teksturës.
Piktura
Kushtëzimi i vetëdijshëm për maskën për të rigjeneruar vetëm një pjesë të një imazhi.
Ripikturo
Zgjero një kanavacë ose ripikturo rajone duke respektuar strukturën rrethuese.
Tre hapa
- Ngarko një imazh referuese — një foto, një skicë, një screenshot, çdo gjë me strukturën që dëshiron të mbash.
- Zgjidh llojin e kushtëzimit që përputhet me atë që të intereson (pozë për një figurë, thellësi për një skenë, i zgjuar ose linear për konturet e pastra).
- Shkruaj një kërkesë që përshkruan pamjen që dëshiron dhe gjeneroje. Rrit forcën e kontrollit për të ndjekur referencën më ngushtë, ul atë për liri më kreative.
ControlNet — 12 lloje kondicionimesh në një instrument - FAQ
ControlNet të lejon të drejtosh krijimin e imazheve AI me një imazh referencor strukturor në vend të mbështetjes vetëm në kërkesën e tekstit. Ngarko një referencë, zgjedh një tip kushtëzimi (pozicion, thellësi, skaje, gërvishtje, segmentim dhe më shumë), shkruaj një kërkesë dhe SDXL gjeneron një imazh krejt të ri që ndjek strukturën e referencës tënde ndërsa merr përmbajtjen, stilin dhe ngjyrat e saj nga fjalët e tua. Është mbështetur nga ControlNet-Union SDXL ProMax - një model që trajton 12 lloje kushtëzimi në një omni-piktor të vetëm.
img2img ripikturoi mbi hyrjen direkt — ngjyrat, skajet, dhe gjeometria përzihen me kërkesën. ControlNet i hedh ngjyrat dhe mban vetëm sinjalin strukturor të zgjedhur (vijat, skeletin e pozës, hartën e thellësisë, etj.). Kjo ju lejon të ndërroni përmbajtjen radikalisht ndërsa kompozimi mbetet i qëndrueshëm. Kontroll strukturor më i fortë se img2img.
Canny / lineart për të pastruar të dhënat e linjave. Anime-lineart për të dhënat e linjave në stil anime. Scribble / soft-edge / HED për skica dhe gërvishtje të papërpunuara. Pozë për të kopjuar një pozicion trupor nga një foto. Thellësia për të ruajtur gjeometrinë e skenës / strukturën 3D. MLSD për të ruajtur vija të drejta (arkitekturë / interier). Normal për të ruajtur orientimin e sipërfaqes dhe volumin. Segmentimi për të ruajtur rajonet. Pllakë për të përmirësuar ose rritur variacionet e një figure ekzistuese.
ControlNet-Union SDXL ProMax (xinsir, Apache 2.0) i paketon të gjithë 12 rrjetet e kushtëzimit në një peshë të vetme 2.5 GB. Shpërndarjet e vjetra shkarkonin një peshë të veçantë ~2.5 GB për lloj - ndërrimi midis canny dhe pose do të thotë një nisje e ftohtë. Modeli i unionit ngarkohet një herë dhe qëndron i ngrohtë, kështu që çdo lloj kushtëzimi është sub-sekond pas thirrjes së parë.
Po. ~1,200 tokens për render (1,000 base SDXL + 20% ControlNet kusht mbi pagesë). Përdoruesit e regjistruar marrin 30,000 tokens falas në ditë — rreth 25 render kusht në ditë pa kosto. Anonim: 2,500 tokens / ditë (~2 render).
Po — rrëshqitësi i forcës së kontrollit (i prezgjedhur 0.7) përcakton se sa strikt do të ndjekë dalje referencën tuaj. 1.0 = strikt (dalja duket si një ri-render i referencës suaj). 0.4 = i lirë (prompt ka më shumë liri). Ule atë për variacione kreative, ngrite atë kur besnikëria është e rëndësishme.
512×512 e paracaktuar. Raportet standarde SDXL — 768×1024 portret, 1024×768 peizazh, 1024×1024 katror — të gjitha funksionojnë. Shfaqjet më të mëdha konsumojnë më shumë VRAM dhe token; H200 suporton deri në 1024×1024 me lehtësi.
Po. Gjenerata ControlNet kushton ~1,000 token për figurë, e njëjta si gjenerata standarde SDXL. Përdoruesit anonim marrin 6,000 token/ditë; një profil i lirë jep 30,000/ditë. Pa kartë krediti, pa shenjë uji. Rezoluta më e lartë ose variante të shumta kushton proporcionalisht më shumë nga pool.
Lëre imazhin e kontrollit të zotërojë strukturën dhe lëre kërkesën të zotërojë gjithçka tjetër. Përshkruaj subjektin, stilin, materialet, dritën dhe humorin në kërkesë - psh. me një hartë thellësie të një dhome qëndrimi, kërko "dhomë qëndrimi skandinave, dritë e ngrohtë mëngjesi, dysheme liane, fotorealistike". Shto një kërkesë negative për të përjashtuar elementet e padëshiruara. Nëse rezultati ndjek referencën shumë rreptësisht, lehtëso forcën e kontrollit; nëse e injoron atë, rritë forcën.
I njëjti model, e njëjta cilësi, të njëjtat sinjale kondicionimi. ComfyUI dhe A1111 kërkojnë një GPU lokale me 12+ GB VRAM plus konfigurim. Ne e përdorim atë në një infrastrukturë të përbashkët me një pool të lirë të gjerë — pa instalim, pa nevojë për GPU.
Thirrjet e para shkarkojnë peshën e bashkimit (~2.5 GB) në cache e GPU dhe ngrohë SDXL pipeline. Prit 30-60 sekonda në kërkesën e parë pas një shpërndarje ose LRU përjashtim. Thirrjet e mëvonshme nën ngarkim tipike kthehen në 4-7 sekonda.
Po — POST multipart në /v1/image/generate/ me model=sdxl (ose model=controlnet-union-sdxl-promax), prompt, control_image (file), control_type=<një nga: canny, pose, depth, scribble, lineart, anime-lineart, mlsd, hed, soft-edge, normal, segmentation, tile>, optional control_strength (0.1-1.5). Autentifikim i bartësit, 10K tokens të lirë/muaj. /api/ ka shembuj të curl.