ControlNet - 12 math o amodau mewn un offeryn
Llwythwch ddelwedd gyfeirio, dewiswch fath o amodau, ysgrifennwch neges. Mae'r AI yn cadw strwythur eich cyfeiriad (llinellau, sefyllfa, dyfnder, ac ati) a chreu cynnwys newydd mewn unrhyw arddull. Wedi'i gefnogi gan ControlNet-Union SDXL ProMax - Apache 2.0, yn gyfan gwbl yn addas ar gyfer defnydd masnachol.
Canlyniad
Sut mae ControlNet yn gweithio
Mae ControlNet yn gadael i chi reoli creu delwedd gyda strwythur delwedd gyfeirio yn hytrach na dibynnu ar y cyfarwyddyd testun yn unig. Mae rhag-brosesydd yn darllen eich cyfarwyddyd ac yn echdynnu signal cyflymu unol - ei ymylon, ei fap dyfnder, cluniau sefyll person, ac yn y blaen. Mae'r model lledaenu yna'n cloi i'r signal hwn tra mae'r cyfarwyddyd yn penderfynu ar yr arddull, lliwiau, goleuo, a'r pwnc. Mae'r canlyniad yn cadw'r cyfansoddiad cywir y rhoesoch mewn ond mae'n edrych fel rhywbeth newydd yn llwyr.
Mae'r erfyn hwn yn cael ei gefnogi gan ControlNet-Union SDXL ProMax (Apache 2.0) - model sengl sy'n deall pob un o'r 12 math o amodau isod, felly gallwch newid rhwng nhw o un dewisydd heb lwytho rhwydwaith gwahanol bob tro. Mae'n gyfan gwbl yn ddefnyddiol ar gyfer defnydd masnachol: cadwch, gwerthwch, neu newidwch beth bynnag rydych yn ei greu.
Y 12 math o amodau
Canny
Canfod ymylon cryno. Gorau ar gyfer cadw ymyliadau cryf a gwaith llinell clir.
Dyfnder
Map dyfnder 3D. Mae'n cadw'r cynllun gofod - beth sy'n agos a beth sy'n bell.
& Gosod
Cylched corff OpenPose. Mae'n cloi sefyllfa a lleoliadau cyhyrau'r siâp.
Scribble
Droedynnau llusgo â llaw wedi eu troi'n gelf gyflawn.
Detholiad
Map ardal wedi'i codeiddio gan liw. Neilltuo pob ardal o'r arddangosfa i ddosbarth.
Arferol
Map wyneb-naturiol. Yn cadw cyfeiriadaeth wyneb 3D a chylchoedd.
Llinell
Tynnu llinellau mân - yn berffaith ar gyfer inciau, manga, a lluniau.
Ymyl-goch
Canfod ffiniau'n ofalus sy'n dilyn ffurfiau'n fwy rhydd na Canny.
MLSD
Rhannau llinell-droed. Wedi'u gwneud ar gyfer pensaernïaeth, mewnol, a lluniau cynnyrch.
Teiliau
Cyflwr cadw manylion ar gyfer uwchraddio a gwaith gwead heb ei dorri.
& Peintio
Cyflwr sy'n ymwybodol o'r masg i adfywio dim ond rhan o ddelwedd.
Ail- farcio / all- farcio
Ehangu canfas neu ail-wenwyno ardaloedd tra'n parchu'r strwythur cyfagos.
Tri cham
- Llwythwch i fyny ddelwedd gyfeirio - llun, sgript, sgrînlun, unrhyw beth gyda'r strwythur yr ydych am ei gadw.
- Dewiswch y math o amodau sy'n cydweddu â'r hyn rydych chi'n ei werthfawrogi (pose ar gyfer siâp, dwysedd ar gyfer lleoliad, canny neu lineart ar gyfer ymylliniau clir).
- Ysgrifennwch alwad sy'n disgrifio'r edrychiad rydych chi am ei greu. Cynyddu grym y rheolydd i ddilyn y cyfeiriad yn fwy agos, ei leihau i gael mwy o ryddid creadigol.
ControlNet - 12 math o amodau mewn un offeryn - FAQ
Mae ControlNet yn gadael i chi reoli creu delweddau AI gyda ddelwedd cyfeirio strwythurol yn hytrach na dibynnu ar y cyfarwyddyd testun yn unig. Llwythwch i fyny gyfeiriad, dewiswch fath o amodau (pose, dyfnder, ymylon, sgrolio, segmentio, a mwy), ysgrifennwch gyfarwyddyd, ac mae SDXL yn creu delwedd newydd sy'n dilyn eich strwythur cyfeirio tra'n cymryd ei gynnwys, ei arddull, a'i liwiau o'ch geiriau. Mae'n cael ei gefnogi gan ControlNet-Union SDXL ProMax - un model sy'n trin 12 math o amodau mewn dewisydd-aml-lefel sengl.
Mae img2img yn ail-wenwyno dros y mewnbwn yn uniongyrchol - lliwiau, ymylon, A geometreg yn cymysgu gyda'r ymholiad. Mae ControlNet yn taflu'r lliwiau i ffwrdd a chadw dim ond yr arwydd strwythurol a ddewiswyd (llinellau, cluniau sefyll, map dyfnder, ac ati). Mae hyn yn gadael i chi swapio cynnwys yn radical tra'n cadw'r cyfansoddiad yn gadarn. Rheolaeth strwythurol llawer mwy gryf na img2img.
Canny / lineart ar gyfer mewnbwn llinellwaith glan. Anime-lineart ar gyfer mewnbwn llinell arddull anime. Scribble / soft-edge / HED ar gyfer sgriptiau a doodles. Pose i gopïo lleoliad corff o lun. Dep i gadw geometreg y lleoliad / cynllun 3D. MLSD i gadw llinellau cywir (arddull adeiladwaith / mewnol). Arferol i gadw cyfeiriadaeth wyneb a chyfaint. Degolygiad i gadw ardaloedd. Teiliau i wella neu uwchraddio newidiadau delwedd sy'n bodoli.
Mae ControlNet-Union SDXL ProMax (xinsir, Apache 2.0) yn pacio pob 12 rhwydwaith cyflymu i mewn i bwysau 2.5 GB unigol. Roedd gosodiadau hŷn yn lawrlwytho pwysau ~2.5 GB ar wahân ar gyfer pob math — roedd newid rhwng canny a pose yn golygu dechrau oer. Mae'r model undeb yn llwytho unwaith ac yn aros yn gynnes, felly mae pob math cyflymu yn is-eiliadau ar ôl y galwad cyntaf.
Ydy. ~1,200 tocynnau y lluniad (1,000 sylfaen SDXL + 20% o ffi ychwanegol am lunio ControlNet). Mae defnyddwyr sydd wedi mewngofnodi yn cael 30,000 o tocynnau am ddim bob dydd — tua 25 o luniau ffurfiedig bob dydd am ddim. Di-enw: 2,500 o tocynnau/dydd (~2 lluniad).
Ie — mae'r llithrydd Cryfder Rheoli (rhagosodedig 0.7) yn penderfynu pa mor galed mae'r allbwn yn dilyn eich cyfeiriad. 1.0 = galed (mae'r allbwn yn edrych fel ail-ddarlunio eich cyfeiriad). 0.4 = rhydd (mae gan y llywio fwy o rhyddid). Gostwngwch ef am newidiadau creadigol, codiwch ef pan fo dilysrwydd yn bwysig.
512x512 rhagosodedig. Cydraniad safonol SDXL — 768x1024 darlun, 1024x768 tirlun, 1024x1024 sgwâr — mae pawb yn gweithio. Mae allbwn mwy yn defnyddio mwy o VRAM a tocynnau; mae'r H200 yn cynnal hyd at 1024x1024 yn gyfforddus.
Ie. Mae creu ControlNet yn costio ~1,000 o tocynnau am bob delwedd, yr un peth â chreu SDXL safonol. Mae defnyddwyr anhysbys yn cael 6,000 o tocynnau/dydd; mae cyfrif am ddim yn rhoi 30,000/dydd. Dim cerdyn credyd, dim dyfrnod. Mae ystyrloniadau uwch neu amrywiadau lluosog yn costio mwy o'r gronfa yn gymharol.
Gadewch i'r ddelwedd reoli fod yn berchen ar y strwythur a gadael i'r cynghoryn fod yn berchen ar bob peth arall. Disgrifiwch y pwnc, y strwythur, y deunyddiau, y goleuadau, a'r awyrgylch yn y cynghoryn - e.e. gyda map Dyfnder o ystafell fyw, cynghorwch "ystafell fyw Scandinafig ysgafn, golau bore cynnes, llawr o goed ffawydd, ffotograffig". Ychwanegwch gynghoryn negyddol i eithrio elfennau nad ydych yn eu hoffi. Os mae'r allbwn yn dilyn y cyfeiriad yn rhy gadarn, lleihau grym y reoli; os yw'n ei anwybyddu, cynyddu'r grym.
Yr un model, yr un ansawdd, yr un arwydd cyflwr. Mae angen GPU lleol gyda 12+ GB o VRAM a gosod ar ComfyUI ac A1111. Rydyn ni'n rhedeg ar ddatblygiad wedi'i rannu gydag ardal rydd fawr — dim angen gosod, dim angen GPU.
Mae'r galwad cyntaf yn lawrlwytho'r pwysau Union (~2.5 GB) i'r storfa GPU ac yn cynhesu'r pibell SDXL. Disgwyliwch 30-60 eiliad ar y cais cyntaf ar ôl gosod neu ryddhau LRU. Mae galwadau dilynol o dan lwyth arferol yn dychwelyd mewn 4-7 eiliad.
Ie — POST multipart i /v1/image/generate/ gyda model=sdxl (neu model=controlnet-union-sdxl-promax), cyfarwyddyd, control_image (ffeil), control_type=<un o: canny, pose, depth, scribble, lineart, anime-lineart, mlsd, hed, soft-edge, normal, segmentation, tile>, control_strength dewisol (0.1-1.5). Awdurdod barwr, 10K o tocynnau am ddim/mis. Mae gan /api/ enghreifftiau o curl.