ControlNet - 12 math o amodau mewn un offeryn
Llwythwch ddelwedd gyfeirio, dewiswch fath o amodau, ysgrifennwch alwad. Mae'r AI yn cadw strwythur eich cyfeiriad (llinellau, sefyllfa, dyfnder, ac ati) a llunia gynnwys newydd mewn unrhyw arddull. Wedi'i gefnogi gan ControlNet-Union SDXL ProMax — Apache 2.0, yn gyfeillgar i ddefnydd masnachol.
Canlyniad
Sut mae ControlNet yn gweithio
Mae ControlNet yn gadael i chi reoli creu delwedd gyda strwythur delwedd gyfeirio yn hytrach na dibynnu ar y cyfarwyddyd testun yn unig. Mae rhag-brosesydd yn darllen eich cyfarwyddyd ac yn echdynnu signal amodol sengl — ei ymylon, ei fap dyfnder, cluniau sefyll person, ac yn y blaen. Mae'r model lledaenu yna'n cael ei gloi i'r signal hwnnw tra bod y cyfarwyddyd yn penderfynu ar yr arddull, lliwiau, goleuo, a'r pwnc. Mae'r canlyniad yn cadw'r cyfansoddiad cywir y rhoddwyd iddo ond mae'n edrych fel rhywbeth newydd yn llwyr.
Mae'r erfyn hwn yn cael ei gefnogi gan ControlNet-UnionSDXL ProMax (Apache 2.0) — model sengl sy'n deall pob un o'r 12 math o amodau isod, felly gallwch newid rhwng nhw o un dewisydd heb lwytho rhwydwaith gwahanol bob tro. Mae'n gyfeillgar i ddefnydd masnachol: cadwch, gwerthwch, neu newidwch beth bynnag rydych yn ei greu.
Y 12 math o amodau
Canny
Canfod ymylon cryno. Gorau ar gyfer cadw ymyliadau cryf a gwaith llinell clir.
Dyfnder
Map dyfnder 3D. Mae'n cadw'r cynllun gofod - beth sy'n agos a beth sy'n bell.
& Gosod
Cylched corff OpenPose. Mae'n cloi sefyllfa a lleoliadau cyhyrau'r siâp.
Scribble
Droedynnau llusgo â llaw wedi eu troi'n gelf gyflawn.
Detholiad
Map ardal wedi'i codeiddio gan liw. Neilltuo pob ardal o'r arddangosfa i ddosbarth.
Arferol
Map wyneb-naturiol. Yn cadw cyfeiriadaeth wyneb 3D a chylchoedd.
Llinell
Tynnu llinellau mân - yn berffaith ar gyfer inciau, manga, a lluniau.
Ymyl-goch
Canfod ffiniau'n ofalus sy'n dilyn ffurfiau'n fwy rhydd na Canny.
MLSD
Rhannau llinell-droed. Wedi'u gwneud ar gyfer pensaernïaeth, mewnol, a lluniau cynnyrch.
Teiliau
Cyflwr cadw manylion ar gyfer uwchraddio a gwaith gwead heb ei dorri.
& Peintio
Cyflwr sy'n ymwybodol o'r masg i adfywio dim ond rhan o ddelwedd.
Ail- farcio / all- farcio
Ehangu canfas neu ail-wenwyno ardaloedd tra'n parchu'r strwythur cyfagos.
Tri cham
- Llwythwch ddelwedd gyfeirio i fyny - llun, sgript, sgrînlun, unrhyw beth gyda'r strwythur yr ydych am ei gadw.
- Dewiswch y math o amodau sy'n cydweddu â'r hyn rydych chi'n ei werthfawrogi (pose ar gyfer siâp, dwysedd ar gyfer lleoliad, canny neu lineart ar gyfer ymylliniau clir).
- Ysgrifennwch alwad sy'n disgrifio'r edrychiad rydych chi am ei greu. Cynyddu grym y rheolydd i ddilyn y cyfeiriad yn fwy agos, ei leihau i gael mwy o ryddid creadigol.
ControlNet - 12 math o amodau mewn un offeryn — FAQ
Erfyn sengl sy'n dangos pob un o'r 12 math o amodau o'r model ControlNet-Union SDXL ProMax - canny, pose, depth, scribble, lineart, anime-lineart, MLSD, HED, soft-edge, normal, segmentation, a tile. Dewiswch fath o amodau, gollwng delwedd gyfeirio, ysgrifennu neges, a bydd SDXL yn lunio delwedd newydd sy'n dilyn strwythur eich cyfeiriad.
Mae img2img yn ail-wenwyno dros y mewnbwn yn uniongyrchol - lliwiau, ymylon, A geometreg yn cymysgu gyda'r ymholiad. Mae ControlNet yn taflu'r lliwiau i ffwrdd a chadw dim ond yr arwydd strwythurol a ddewiswyd (llinellau, cluniau sefyll, map dyfnder, ac ati). Mae hyn yn gadael i chi swapio cynnwys yn radical tra'n cadw'r cyfansoddiad yn gadarn. Rheolaeth strwythurol llawer mwy gryf na img2img.
Canny / lineart ar gyfer mewnbwn llinellwaith glan. Anime-lineart ar gyfer mewnbwn llinell arddull anime. Scribble / soft-edge / HED ar gyfer sgriptiau a doodles. Pose i gopïo lleoliad corff o lun. Dep i gadw geometreg y lleoliad / cynllun 3D. MLSD i gadw llinellau cywir (arddull adeiladwaith / mewnol). Arferol i gadw cyfeiriadaeth wyneb a chyfaint. Degolygiad i gadw ardaloedd. Teiliau i wella neu uwchraddio newidiadau delwedd sy'n bodoli.
Mae ControlNet-Union SDXL ProMax (xinsir, Apache 2.0) yn pacio pob 12 rhwydwaith cyflymu i mewn i bwysau 2.5 GB unigol. Roedd gosodiadau hŷn yn lawrlwytho pwysau ~2.5 GB ar wahân ar gyfer pob math — roedd newid rhwng canny a pose yn golygu dechrau oer. Mae'r model undeb yn llwytho unwaith ac yn aros yn gynnes, felly mae pob math cyflymu yn is-eiliadau ar ôl y galwad cyntaf.
Ydy. ~1,200 tocynnau y lluniad (1,000 sylfaen SDXL + 20% o ffi ychwanegol am lunio ControlNet). Mae defnyddwyr sydd wedi mewngofnodi yn cael 30,000 o tocynnau am ddim bob dydd — tua 25 o luniau ffurfiedig bob dydd am ddim. Di-enw: 2,500 o tocynnau/dydd (~2 lluniad).
Ie — mae'r llithrydd Cryfder Rheoli (rhagosodedig 0.7) yn penderfynu pa mor galed mae'r allbwn yn dilyn eich cyfeiriad. 1.0 = galed (mae'r allbwn yn edrych fel ail-ddarlunio eich cyfeiriad). 0.4 = rhydd (mae gan y llywio fwy o rhyddid). Gostwngwch ef am newidiadau creadigol, codiwch ef pan fo dilysrwydd yn bwysig.
512x512 rhagosodedig. Cydraniad safonol SDXL — 768x1024 darlun, 1024x768 tirlun, 1024x1024 sgwâr — mae pawb yn gweithio. Mae allbwn mwy yn defnyddio mwy o VRAM a tocynnau; mae'r H200 yn cynnal hyd at 1024x1024 yn gyfforddus.
Mae delweddau cyfeirio yn cael eu prosesu yn syth, mae'r amodau yn cael eu tynnu, ac yna mae'r ffeil cyfeirio yn cael ei ddileu. Dim ond y cyfarwyddiad + y lluniad terfynol sy'n aros ar /account/?tab=history. Ni ddefnyddir erioed ar gyfer hyfforddi. /privacy/ am y polisi llawn.
Cyhoeddir ControlNet-Union SDXL ProMax o dan Apache 2.0 — yn hollol ganiataol, gan gynnwys defnydd masnachol. OpenRAIL++ yw sail SDXL. Caniatâ'r ddau ddefnyddio masnachol; eich delweddau a gynhyrchir yw eich rhai chi i'w defnyddio masnachol heb unrhyw hawliau.
Yr un model, yr un ansawdd, yr un arwydd cyflwr. Mae angen GPU lleol gyda 12+ GB o VRAM a gosod ar ComfyUI ac A1111. Rydyn ni'n rhedeg ar ddatblygiad wedi'i rannu gydag ardal rydd fawr — dim angen gosod, dim angen GPU.
Mae'r galwad cyntaf yn lawrlwytho'r pwysau Union (~2.5 GB) i'r storfa GPU ac yn cynhesu'r pibell SDXL. Disgwyliwch 30-60 eiliad ar y cais cyntaf ar ôl gosod neu ryddhau LRU. Mae galwadau dilynol o dan lwyth arferol yn dychwelyd mewn 4-7 eiliad.
Ie — POST multipart i /v1/image/generate/ gyda model=sdxl (neu model=controlnet-union-sdxl-promax), cyfarwyddyd, control_image (ffeil), control_type=<un o: canny, pose, depth, scribble, lineart, anime-lineart, mlsd, hed, soft-edge, normal, segmentation, tile>, control_strength dewisol (0.1-1.5). Awdurdod barwr, 10K o tocynnau am ddim/mis. Mae gan /api/ enghreifftiau o curl.