ControlNet 12 kondicionáló típus egy szerszámban
Töltsön fel egy referencia képet, válasszon egy kondicionálási típust, írjon egy promptet. Az MI megtartja a referencia szerkezetét (vonalak, póz, mélység, stb.), és bármilyen stílusban új tartalmat ad. Backed by ControlNet-Union SDXL ProMax Apache 2.0, full commercial-use friendly.
Eredmény
Hogyan működik a ControlNet?
ControlNet lehetővé teszi, hogy irányítsa a képgenerációt egy referencia kép szerkezetével, ahelyett, hogy csak a szövegre támaszkodna. Az előfeldolgozó olvassa el a referenciádat, és egyetlen kondicionálási jelet von le a széleiről, a mélységi térképéről, a személy csontvázáról, és így tovább. A diffúziós modell ezután be van zárva a jelhez, miközben a gyors dönt a stílusról, színekről, világításról és tárgyról. Az eredmény megtartja a pontos összetételt, amit tápláltál, de úgy néz ki, mintha valami teljesen új lenne.
Ezt az eszközt támogatja a ControlNet-UnionSDXL ProMax (Apache 2.0) egy olyan modell, amely az alábbi 12 kondicionálási típust érti meg, így minden alkalommal más-más hálózat betöltése nélkül váltunk egymás között. Teljesen kereskedelmi jellegű: megtartjuk, eladjuk vagy módosítjuk azt, amit generálunk.
A 12 kondicionáló típus
CannyCity name (optional, probably does not need a translation)
Crisp széle detektálás. Legjobb megőrizni éles körvonalak és tiszta vonalmunka.
Mélység
3D mélységi térkép. Megtartja a térbeli elrendezést, ami közel van és ami messze van.
Pózol
Nyissa ki a csontvázat, zárja be az alak helyzetét és végtagjait.
Firkálás
A laza kézzel rajzolt firkákból kész művészet lett.
Szegmens
Színkódolt régiótérkép. Jelölje be a jelenet minden területét egy osztályba.
Normál
Felszíni-normál térkép. Megőrzi a finom 3D felület orientációt és dudorokat.
Lineáris
A finom vonalhúzás ideális ingázáshoz, mangához és illusztrációhoz.
Puha élű
Gyengéd határfelismerés, ami lazábban követi a formákat, mint Canny.
MLSD
Egyenes szegmensek. Építészethez, belső térhez és termék felvételekhez készült.
TileCity name (optional, probably does not need a translation)
Detail-megőrző kondícionálás felfűzés és varrat nélküli textúra munka.
Fájdalom
Maszk-aware kondicionálás, hogy regenerálja csak egy részét egy kép.
Újrafestés / outpaint
Bővítse a vászon vagy átfestett régiók, miközben tiszteletben tartja a környező szerkezet.
Három lépés.
- Töltsön fel egy referencia képet egy fényképet, egy vázlatot, egy screenshot-ot, bármit, amit meg akar tartani.
- Válassza ki a kondícionáló típust, amely megegyezik azzal, ami fontos (állj egy alak, mélység egy jelenet, Canny vagy lineáris tiszta körvonalak).
- Írj egy gyors leírást a megjelenés akarsz, és generálni. Emelje fel az ellenőrzési erőt, hogy kövesse a referencia szorosabban, csökkentse azt a több kreatív szabadság.
ControlNet 12 kondicionáló típus egy szerszámban — FAQ
Egyetlen eszköz, amely leleplezi mind a 12 kondicionáló típust a ControlNet-Union SDXL ProMax modellben, a póz, mélység, firkálás, lineáris, anime-lineart, MLSD, HED, soft-edge, normal, szegmentáció, és cserép. Válasszon egy kondicionáló típust, ejtsen egy referencia képet, írjon egy gyors, és SDXL teszi egy új képet, amely követi a szerkezetét a referencia.
img2img újrafesti a bemeneti közvetlenül ċ színek, élek, AND geometria keverjük a gyors. ControlNet eldobja a színeket, és csak a kiválasztott strukturális jel (vonalak, posesso skeleton, mélységi térkép, stb.). Ez lehetővé teszi, hogy radikálisan cserélje tartalom tartása kompozíció szikla szilárd. Sokkal erősebb szerkezeti ellenőrzés, mint img2img.
Canny / lineart tiszta vonalmunka bevitel. Anime-linearet anime-stílusú vonal bevitel. Firkálás / puha-edge / HED durva vázlatok és doodles. Pose, hogy másolja a testhelyzetet egy fotó. Mélység megőrzése jelenet geometria / 3D elrendezés. MLSD megőrzése egyenes vonalak (architektúra / belső). Normál megőrzése felület orientáció és térfogat. Szegmentáció, hogy megőrizze a régiókat. Kötelesség finomítani vagy upscale variációi egy meglévő kép.
A ControlNet-Union SDXL ProMax (xinsir, Apache 2.0) mind a 12 kondicionáló hálózatot egyetlen 2,5 GB-os súlyba csomagolja. Az idősebb telepítések külön ~2,5 GB-os súlyt töltöttek le típusonként a konzervek és a pózok közötti váltás hidegindítást jelentett. A szakszervezeti modell egyszer terhelést jelentett, és meleg marad, így minden kondicionáló típus az első hívást követően másodlagos.
Igen. ~ 1200 token per render (1000 bázis SDXL + 20% ControlNet kondicionálási felár). Beiratkozott felhasználók kap 30 000 ingyenes token naponta ~ mintegy 25 kondicionált render naponta nélkül. Névtelen: 2500 token / nap (~2 render).
Igen, a Control strength slider (alapértelmezett 0.7) határozza meg, hogy mennyire szigorúan követi a kimenet a referenciádat. 1.0 = szigorú (a kimenet úgy néz ki, mint egy re-render a referencia). 0.4 = laza (a promptnek több szabadsága van).
512×512 default. SDXL standard arányszámok 768×1024 portré, 1024×768 tájkép, 1024×1024 négyzet minden munka. Nagyobb kimenetek fogyaszt több VRAM és zsetonok; a H200 támogatja akár 1024×1024 kényelmesen.
A referenciaképeket azonnal feldolgozzuk, a kondicionálást kivonjuk, majd a referenciafájlt töröljük. Csak az instant + végleges render marad a /account/?tab=történelemben. Soha nem használt edzésre. /privacy/ for the full policy.
A ControlNet-Union SDXL ProMax az Apache 2.0 alatt kerül kiadásra teljes mértékben megengedett, beleértve a kereskedelmi felhasználást is. Az SDXL bázis az OpenRAIL++. Mindkettő lehetővé teszi a kereskedelmi hasznosítást; a generált képek a tiéd, hogy kereskedelmileg jogdíjak nélkül használd.
Ugyanaz a modell, ugyanaz a minőség, ugyanaz a kondicionálási jelek. A ComfyUI és az A1111 igényel egy helyi GPU 12+ GB VRAM plusz beállítás. Mi futtatjuk a megosztott infrastruktúra egy nagylelkű ingyenes medence nem telepítés, nem szükséges GPU.
Az első hívás letölti az Unió súlyát (~2.5 GB) a GPU cache-ba, és felmelegíti az SDXL vezetéket. Várhatóan 30-60 másodperc az első kéréssel egy telepítést vagy LRU kilakoltatást követően.
Igen, Post multipart to /v1/image/generate/ with model=sdxl (vagy modell=controlnet-union-sdxl-promax), prompt, control_image (file), control_type=< one of: canny, pose, deepth, firkant, lineart, mlsd, hed, soft-edge, normal, szegmentation, tile>, opcionális control_strength (0,1-1,5). Bearer auth, 10K free tokens/ month. /api/ has grill examples.