ControlNet — 12 conditioning uri sa isang tool
I-upload ang isang reference image, pumili ng isang uri ng conditioning, sumulat ng isang prompt. Ang AI ay natiling istraktura ng iyong reference (mga linya, pose, lalim, atbp) at gumagawa ng bagong nilalaman sa anumang estilo.
Resulta
Paano gumagana ang ControlNet
Ang isang preprocessor ay nagbabasa ng iyong reference at nag-a-extract ng isang solong conditioning signal – ang mga gilid nito, ang mapa ng lalim nito, ang pose skeleton ng isang tao, at iba pa. Ang modelo ng pagpapakalat ay pagkatapos ay naka-lock sa signal na habang ang prompt ay nagpasya ang estilo, kulay, ilaw, at paksa. Ang resulta ay natiling eksaktong komposisyon na iyong pinakain sa ngunit mukhang tulad ng isang bagay na ganap na bago.
Ang mga ito ay maaaring maging mga karaniwang mga katangian ng mga tao, tulad ng mga katangian ng mga hayop, mga katangian ng mga halaman, at mga katangian ng mga halaman. ang mga ito ay maaaring maging mga katangian ng mga tao, tulad ng mga katangian ng mga hayop, mga katangian ng mga halaman, at mga katangian ng mga halaman.
Ang 12 uri ng conditioning
Kanluran
Crisp gilid detection. Pinakamahusay para sa pagpapanatili ng matalim outlines at malinis na linework.
Lalim
3D depth map. Pinapanatili ang spatial layout — kung ano ang malapit at kung ano ang malayo.
Pag-upo
OpenPose katawan skeleton. Naka-lock ang posisyon ng figure at mga posisyon ng mga limbs.
Pag-ibig
Ang mga karaniwang uri ng mga palabas sa telebisyon ay kinabibilangan ng mga palabas sa arte.
Pag-segment
Kulay-code na rehiyon mapa. Magtalaga ng bawat lugar ng eksena sa isang klase.
Normal
Surface-normal na mapa. Pinapanatili ang fine 3D ibabaw ng pag-uugali at bumps.
Linya
Fine linya pag-alis - perpekto para sa inking, manga, at paglalarawan.
Soft- gilid
Ang mga ito ay mga karaniwang mga katangian ng mga organismong may buhay na mas malaki kaysa sa mga hindi nabubuhay.
Mga MLM
Tuwid na linya segment. Ginawa para sa architecture, interiors, at mga shot ng produkto.
Tiles
Ang mga ito ay mga halimbawa ng mga sistemang hindi linyar at mga sistemang linyar na linyar.
Pagpipinta
Ang mga ito ay maaaring mag-iba mula sa isang simpleng imahe hanggang sa isang mas komplikadong imahe.
Repaint / outpaint
Palawakin ang isang canvas o repaint rehiyon habang paggalang sa nakapalibot na istraktura.
Tatlong hakbang
- I-upload ang isang reference na larawan — isang larawan, isang sketch, isang screenshot, anumang bagay na may istraktura na nais mong panatilihin.
- Piliin ang uri ng conditioning na tumutugma sa kung ano ang iyong pag-aalaga tungkol sa (pose para sa isang larawan, lalim para sa isang eksena, canny o lineart para sa malinis na mga hugis).
- Mag-sulat ng isang prompt na naglalarawan ng hitsura na nais mong at bumuo. Taasan ang kontrol lakas upang sundin ang reference mas mahigpit, ibaba ito para sa mas creative kalayaan.
ControlNet — 12 conditioning uri sa isang tool - FAQ
Ang isang solong tool na nagpapakita ng lahat ng 12 conditioning uri mula sa ControlNet-Union SDXL ProMax modelo - canny, pose, depth, scribble, lineart, anime-lineart, MLSD, HED, soft-edge, normal, segmentation, at tile. Pumili ng isang conditioning uri, drop ng isang reference image, sumulat ng isang prompt, at SDXL ay nagpapakita ng isang bagong imahe na sumusunod sa istraktura ng iyong reference.
< img2img muling-paintings sa ibabaw ng input nang direkta — kulay, gilid, AT geometry halo sa prompt. ControlNet throws ang mga kulay ang layo at pinapanatili lamang ang piniling istraktura signal (linya, pose skeleton, depth map, atbp.). Na nagbibigay-daan sa iyo upang radikal na palitan ang nilalaman habang pinapanatili ang komposisyon rock solid. malayo mas malakas na istraktura control kaysa sa img2img.
Ang mga ito ay ang mga sumusunod: Canny / lineart para sa malinis na linework input. Anime-lineart para sa anime-style na linya ng input. Scribble / soft-edge / HED para sa mga rough sketches at doodles. Pose upang kopyahin ang isang katawan posisyon mula sa isang larawan. Depth upang mapanatili ang eksena geometry / 3D layout. MLSD upang mapanatili ang tuwid na linya (arkitektura / interiors). Normal upang mapanatili ang ibabaw na pag-uugali at dami. Segmentation upang mapanatili ang mga rehiyon. Tile upang pabutihin o upscale pagkakaiba-iba ng isang umiiral na imahe.
ControlNet-Union SDXL ProMax (xinsir, Apache 2.0) packs lahat ng 12 conditioning network sa isang solong 2.5 GB timbang. Mas lumang deployments-download ng isang hiwalay na ~ 2.5 GB timbang bawat uri - paglipat sa pagitan ng canny at pose sinadya ng isang malamig na simula. Ang unyon modelo ng mga load ng isang beses at natiling mainit, kaya ang bawat conditioning uri ay sub-pangalawang pagkatapos ng unang tawag.
Oo. ~1,200 tokens bawat render (1,000 base SDXL + 20% ControlNet conditioning surcharge). Ang mga naka-sign in na gumagamit ay makuha ng 30,000 libreng tokens araw-araw — tungkol sa 25 conditioned renders bawat araw nang walang gastos. Anonymous: 2,500 tokens / araw (~2 renders).
Oo — ang Control lakas slider (default 0.7) ay tumutukoy kung paano mahigpit ang output sumusunod sa iyong reference. 1.0 = mahigpit (output mukhang isang muling pag-render ng iyong reference). 0.4 = maluwag (prompt ay may higit pang kalayaan). Ibaba ito para sa creative pagkakaiba-iba, itaas ito kapag katotohanan bagay.
SDXL standard ratios — 768×1024 portrait, 1024×768 landscape, 1024×1024 square — lahat ng trabaho. Mas malaki output kumain ng higit pang VRAM at token; ang H200 sumusuporta sa hanggang sa 1024×1024 komportable.
Oo. Ang ControlNet henerasyon ay nagkakahalaga ng ~1,000 token bawat imahe, katulad ng standard SDXL henerasyon. Ang mga anonymous na gumagamit ay nakuha ng 6,000 token/araw; isang libreng account ay nagbibigay ng 30,000/araw. Walang credit card, walang watermark. Mas mataas na resolusyon o maraming mga pagkakaiba-iba ay nagkakahalaga ng proporsyonal na higit pa mula sa pool.
Ang ControlNet-Union SDXL ProMax ay inilabas sa ilalim ng Apache 2.0 — ganap na permissive, kabilang ang komersyal na paggamit. Ang SDXL base ay OpenRAIL++. Parehong pinapayagan ang komersyal na paggamit; ang iyong mga imahe ay iyong gamitin sa komersyal na walang royalties.
Parehong modelo, parehong kalidad, parehong conditioning signal. ComfyUI at A1111 nangangailangan ng isang lokal na GPU na may 12+ GB VRAM plus setup. Patakbuhin namin ito sa ibinahaging imprastraktura na may isang malawak na libreng pool — walang pag-install, walang GPU na kailangan.
Unang tawag downloads ang timbang Union (~ 2.5 GB) sa GPU cache at init ang SDXL pipeline. Inaasahan 30-60 segundo sa unang kahilingan pagkatapos ng isang i-deploy o LRU pagpapaalis. Kasunod na tawag sa ilalim ng karaniwang load bumalik sa 4-7 segundo.
Oo — POST multipart sa /v1/image/generate/ sa api.free.ai na may kontrol ng imahe, ang uri ng conditioning, at ang iyong prompt, gamit ang Bearer auth na may isang developer API key. Ang tugon ay OpenAI-kapareho (image_url + share_token). Mabuti para sa batch pipelines na kailangan pare-pareho komposisyon sa maraming henerasyon. Python / Node / cURL snippets sa /api/.