ControlNet – 12 ilmastointityyppiä yhdessä työkalussa
Lataa referenssikuva, valitse ilmastointityyppi, kirjoita pikaviesti. Tekoäly pitää referenssin rakenteen (linjat, poseeraus, syvyys jne.) ja tekee uutta sisältöä mihin tyyliin tahansa. Taustana on ControlNet-Union SDXL ProMax – Apache 2.0, täysin kaupalliseen käyttöön.
Tulos
Miten ControlNet toimii
Esiprosessorin avulla voit ohjata kuvasukupolvea referenssikuvan rakenteella sen sijaan, että luottaisit tekstiin nopeasti yksin. Esiprosessori lukee referenssisi ja irrottaa yhden ehdollistamissignaalin – sen reunat, syvyyskartan, henkilön poseerausluurangon ja niin edelleen. Diffuusiomalli on lukittuna tuohon signaaliin samalla, kun pikaviesti päättää tyylin, värit, valaistuksen ja subjektin. Tulos pitää tarkan koostumuksen, johon syötit, mutta näyttää aivan uudelta.
Tämän työkalun tukena on ControlNet-UnionSDXL ProMax (Apache 2.0) – yksi ainoa malli, joka ymmärtää kaikki alla olevat 12 ilmastointityyppiä, joten vaihdat niiden välillä yhdestä poimijasta lataamatta joka kerta eri verkkoa. Se on täysin kaupallinen käyttöystävällinen: pidä, myy tai muokkaa mitä tahansa.
12 ilmastointityyppiä
Canny
Crisp reunantunnistus. Paras säilyttää terävät ääriviivat ja puhtaat linjat.
Syvyys
3D-syvyyskartta. Spatial layout – mikä on lähellä ja mikä kaukana.
Pose
OpenPose kehon luuranko. Lukitsee hahmon asennon ja raajan asennot.
Säleikkö
Löysät käsin piirretyt nuudelit muuttuivat valmiiksi taiteeksi.
Segmentointi
Värikoodattu aluekartta. Ohjaa jokainen kohtauksen alue johonkin luokkaan.
Normaali
Pinta-normaali kartta. Säilyttää hienon 3D-pintasuunnan ja kuoppia.
Lineart
Hienon linjan erottaminen – ihanteellinen inkingiin, mangaan ja kuvitukseen.
Pehmeäteräinen
Seuraavanlainen hellä rajatunnistus muotoutuu Cannya löyhämmin.
MLSD
Suoraviivaiset segmentit, jotka on valmistettu arkkitehtuurista, sisätiloista ja tuotekuvista.
Tile
Yksityiskohtia säilyttävä muotoilu noususkaalaukseen ja saumattomaan tekstuurityöhön.
Maalaus
Mask-tietoinen ehdollistaminen uudistaa vain osan kuvasta.
Uudelleen maalattu / maalattu
Laajenna kangasta tai maalaa uudelleen alueita ja kunnioita ympäröivää rakennetta.
Kolme askelta
- Lataa viitekuva – kuva, luonnos, kuvakaappaus, kaikki, mitä haluat säilyttää.
- Valitse hoitomuoto, joka vastaa sitä, mistä välität (oleta kuva, syvyys kohtaukseen, kanyyli tai suoraviivaisuus puhtaisiin ääriviivoihin).
- Kirjoita pikainen kuvaus ilmeestä, jonka haluat ja luot. Nosta kontrollivoimaa, jotta voit seurata referenssiä tiukemmin, laskea sitä luovuuden lisäämiseksi.
ControlNet – 12 ilmastointityyppiä yhdessä työkalussa — FAQ
Yksi ainoa työkalu, joka paljastaa kaikki 12 ControlNet-Union SDXL ProMax -mallista peräisin olevaa ilmastointityyppiä – kanyylin, poseerauksen, syvyyden, raapustuksen, lineaarisuuden, anime-lineaarisuuden, MLSD:n, HED:n, pehmeän reunan, normaalin, segmentoitumisen ja laatan. Valitse ilmastointityyppi, pudota viitekuva, kirjoita nopeasti, ja SDXL tekee uuden kuvan, joka seuraa referenssin rakennetta.
Img2img uudelleen maalaa suoraan syötteeseen – värit, reunat, JA geometria sekoittuvat nopeasti. ControlNet heittää värit pois ja pitää vain valitun rakenteellisen signaalin (linjat, poseeraus, syvyyskartta jne.). Näin voit radikaalisti vaihtaa sisältöä ja pitää koostumuksen rock kiinteänä. Paljon vahvempi rakenteellinen ohjaus kuin img2img.
Anny / lineaarinen anime-lineaarinen anime-tyylisen linjan sisääntuloa varten. Scribble / soft-edge / HED karkeita luonnoksia ja nuudeleita varten. Pose kopioi vartalon asennon valokuvasta. Syvyys säilyttää kohtausgeometria / 3D-asettelu. MLSD säilyttää suorat linjat (arkkitehtuuri / sisätilat). Normaali säilyttää pinnan suuntauksen ja tilavuuden. Jaottelu säilyttää alueet. Tile hioa tai nostaa variaatioita olemassa olevasta kuvasta.
ControlNet-Union SDXL ProMax (xinsir, Apache 2.0) pakkaa kaikki 12 ilmastointiverkkoa yhdeksi 2,5 GB:n painoiseksi. Iäkkäät asennukset latasivat erillisen ~2,5 GB:n painon per tyyppi – vaihtaminen kanyylin ja poseerauksen välillä merkitsi kylmää alkua. Union-malli kuormittaa kerran ja pysyy lämpimänä, joten jokainen ilmastointityyppi on ensimmäisen puhelun jälkeen alle sekunnin.
Kyllä. ~ 1200 kuponkia per render (1000 base SDXL + 20% ControlNet-ehdostuslisä). Allekirjoitetut käyttäjät saavat 30 000 ilmaista kuponkia päivittäin – noin 25 ehdollista kuponkia per päivä maksutta. Anonyymi: 2 500 kuponkia päivässä (~ 2 renderiä).
Kyllä – Hallintavoiman liukusäädin (oletus 0.7) määrittää, kuinka tarkasti ulostulo seuraa referenssiä. 1.0 = tiukka (tuotos näyttää referenssin renderöinniltä). 0.4 = löysä (tähyllä on enemmän vapautta). Pienennä sitä luovaan vaihteluun, nosta sitä, kun uskollisuudella on merkitystä.
512×512 oletus. SDXL-standardisuhteet – 768×1024 muotokuva, 1024×768 maisema, 1024×1024 neliö – kaikki työt. Suuremmat lähdöt kuluttavat enemmän VRAM-muistia ja rahakkeita; H200 tukee mukavasti jopa 1024×1024.
Referenssikuvat käsitellään välittömästi, ehdollistaminen poistetaan, sitten referenssitiedosto poistetaan. Vain pikainen + lopullinen renderointi on edelleen /account/?tab=history. Ei koskaan käytetty koulutukseen. /privacy/ koko käytännöstä.
ControlNet-Union SDXL ProMax julkaistaan Apache 2.0:n alla, mikä on täysin sallittua, mukaan lukien kaupallinen käyttö. SDXL:n tukikohta on OpenRAIL++. Molemmat mahdollistavat kaupallisen käytön, ja luotuja kuvia voi käyttää kaupallisesti ilman rojalteja.
Sama malli, sama laatu, samat ilmastointisignaalit. ComfyUI ja A1111 vaativat paikallisen GPU:n, jossa on 12+ GB VRAM plus -asetukset. Käytämme sitä jaetussa infrastruktuurissa, jossa on vapaa uima-allas – ei asennusta, ei GPU:ta.
Ensimmäinen puhelu lataa Union-painon (~2,5 GB) GPU:n välimuistiin ja lämmittää SDXL-putken. Odotamme 30-60 sekuntia ensimmäisestä pyynnöstä käyttöönoton tai LRU:n häädön jälkeen.
Kyllä – POST multipart to /v1/image/generate/ with model=sdxl (tai model=controlnet-union-sdxl-promax), nopea, control_image (file), controller_type=<one of: canny, pos, syvyys, scribble, lineart, anime-lineart, mlsd, hed, soft-edge, normal, segmentation, laile>, optional control_fulness (0.1-1.5).