ControlNet — 12 irú àwọn ìṣàfarawé nínú àtòjọ-ẹ̀yàn kan

Fi àwòrán ìṣàfihàn pamọ́, yan irúfẹ̀ ìṣàfihàn, kọ́ àwọn àgbékalẹ̀. AI náà ń tọjú àwọn ààyè ìṣàfihàn rẹ̀ (àwọn ìṣàfihàn, àwọn ìṣàfihàn, ìfẹ̀sì, abbl.) àti àwọn ààyè tuntun nínú àwọn ìṣàfihàn wọn. Àtí ControlNet-Union SDXL ProMax — Apache 2.0, àwọn ìṣàfihàn-ìṣowó tí o ní ìrànwọ́.

Canny / lineart fún àwọn ààyè-iṣẹ́ àìdá. Posi fún ààyè-iṣẹ́ ẹ̀yàn. Ìgbà ìsàlẹ̀-ilà fún àwọn ààyè-iṣẹ́ 3D. Scribble / soft-edge fún àwọn
Àwọn ìṣàmúlò-ètò tí a fi pamọ́ láti inú yìí — àwọn àwọ̀ ní a fi pà, àwọn àmì-ìwé ìṣàmúlò-ètò (nípa irúfẹ̀ tí o yan) ní a fi pamọ́.
Àwọn àgbéwọlé 0.7 Àwọn àwọn ààyè-iṣẹ́
~1,200 tokens (SDXL × 1.2 ControlNet)
Àwọn Àtòjọ-ẹ̀yàn

Bií a ṣe lé lo ControlNet

ControlNet gba ọ lójútó ìṣàfarawé àwòrán láti inú àwọn ààyè àwọn àwòrán àti àwọn ààyè àwọn àwòrán nípa ìṣàmúlò-ètò àwọn àwòrán àti àwọn àwọn ààyè àwọn àwòrán. Preprocessor kọ́ àwòrán rẹ̀ láti gba àwòrán kaǹ nípa àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè àwọn ààyè à

Àtòjọ-ẹ̀yàn yìí tí a báà dá sí ControlNet-Union SDXL ProMax (Apache 2.0) - módè́lì kan tí o mọ́ gbogbo àwọn ìṣàmúlò-ètò 12 ní ààyè, láti jẹ́ pé o lè yipada láti inú wọn láti inú àwọn à

Àwọn ìṣàmúlò-ètò 12

Àwọn àwọn
Àwọn ààyè-iṣẹ́ ìṣàfihàn àwọn ìsàlẹ̀-ilà. Tí o dara ju fún ìdáràn àwọn ààyè-ilà àti àwọn ààyè-ìwé àwọn ààyè-ìṣàfihàn.
Ìgbà Ìsẹ́
Àtòjọ-ètò ìsàlẹ̀-ilà 3D. Ǹwá àtòjọ-ẹ̀yàn àwọn ààyè-iṣẹ́ - ohun tí kùnà àti ohun tí kùnà.
Àwọn ààyè-iṣẹ́
Ìjádé àwọn ẹ̀yàn àwọn ẹ̀yàn OpenPose. Ń dá àwọn ààyè àti àwọn ààyè àwọn ìsàlẹ̀-ilà àti àwọn ìṣàmúlò-ilà àwọn ìṣàmúlò-ilà àwọn ìṣàmúlò-ilà àwọn ìṣàmúlò-ilà àwọn ìṣàmúlò-ilà àwọn ìṣàmúlò-ilà.
Scribble
Àwọn àwọn
Àwọn àwọn ààyè-iṣẹ́
Àtòjọ-ẹ̀yàn àwọn ààyè-iṣẹ́ àwọn ìwọ̀n. Fi ààyè-iṣẹ́ fún ìṣàfihàn fún ìṣàfihàn.
Àwọn Ìṣàmúlò-ètò
Àtòjọ-òró àwọn ojú-ìwé. Ǹpa ìṣàfarawé àwọn ojú-ìwé 3D àti àwọn ìṣàfarawé.
Àwọn àwọn àwòrán
Ìjáde àwọn ìṣàmúlò-ètò àìpẹ̀ - tí a fẹ́ fún ìṣàmúlò-ètò, manga, àti àwọn ìṣàfihàn.
Igun-ìwọ̀n-ìdá
Àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ tí a fi pamọ́ tí wọ́n lágbára àwọn ìṣàfarawé àwọn ìṣàmúlò-ètò láti jẹ́ àwọn ìṣàmúlò-ètò tí a kò lè lò ju Canny lọ.
MLSD
Àwọn ààyè-iṣẹ́ àìpẹ̀. Tí a ṣe fún àwọn ààyè-iṣẹ́, àwọn inú, àti àwọn ààyè-iṣẹ́.
Àwọn àwọn ààyè-iṣẹ́
Àwọn ààyè ìdáràn-ìdáràn fún ìṣàfarawé àwọn ìṣàmúlò-ètò àti àwọn iṣẹ́ àwọn àwọn ààyè àìdáràn.
Àwọn àwọn àwọ̀
Àwọn ìṣàmúlò-ètò tí a mọ̀ fún ìṣàmúlò-ètò àwọn ààyè-iṣẹ́.
Àwọn àwọn
Fi àwọn ààyè-iṣẹ́ kanvas àti àwọn ààyè-iṣẹ́ ìṣàfarawé kọ̀ǹpútà pamọ́ nígbà tí a bá fi àwọn ààyè-iṣẹ́ ìwọ̀n pamọ́.

Àwọn ìṣàmúlò-ètò mẹ́tà

  1. Fi àwòrán ìṣàmúlò-ètò pamọ́ - àwòrán, àwọn àwọn àwòrán, àwọn àwòrán, àwọn ohunkohun tí o fẹ́ fi pamọ́.
  2. Yan irúfẹ́ ìṣàmúlò-ètò tí o bá fẹ́ (pòsì fún àwọn àwòrán, ìsàlẹ̀-ètò fún àwọn ààyè-iṣẹ́, àwọn ààyè-iṣẹ́ fún àwọn ààyè-iṣẹ́ tí a tí ìṣàmúlò-ètò.
  3. Ṣẹ̀dà àgbèwọlé tí o bá sọ̀rọ̀ ìṣàfihàn tí o fẹ́ ki o si ṣẹ̀dá. Gẹ́ ìwọ̀n ìṣàfihàn láti ìròyìn àwọn ìṣàfihàn náà, yọ̀ láti mú ìgbàyélú àwọn ìṣàfihàn náà lọ́wọ́lọ́wọ́.

ControlNet — 12 irú àwọn ìṣàfarawé nínú àtòjọ-ẹ̀yàn kan - FAQ

Àwọn ìrísí-lẹ́tà kan tí n ṣàfihàn gbogbo àwọn ìṣàmúlò-ètò ìṣàmúlò-ètò 12 láti inú àwọn

img2img tí wọ̀ inú àwọn à

Canny / lineart fún àgbéwọlé àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn ààyè-iṣẹ́ àwọn àa

ControlNet-Union SDXL ProMax (xinsir, Apache 2.0) tí wọ̀ inú gbogbo àwọn nẹ́dàlì ìṣàmúlò-ètò ìṣàmúlò-ètò 12 lọ́wọ́lọ́wọ́ nínú iwuwò 2.5 GB kan. Àwọn ìṣàfihàn tí a tì fi pamọ́ tí wọ̀ inú iwuwò ~2.5 GB nínú irúfẹ̀ kan - ìjánú nínú ìṣàfihàn nínú àwọn

Ya. ~1,200 tokeni fun render kan (1,000 base SDXL + 20% ControlNet tí a fí pamọ́). Àwọn òǹlò tí a tí fi pamọ́ lọ́wọ́lọ́wọ́ gba 30,000 tokeni ọ̀fẹ́ ní gbogbo ọjọ́ — nipa 25 tí a fi pamọ́ lọ́wọ́lọ́wọ́ ní gbogbo ọjọ́ nípa kò sí owó. Aṣàfilọ́lẹ̀: 2,500 tokeni/ọjọ́ (~2 tí a fi pamọ́lọ́wọ́).

Ya — Ìgbà ìṣàfihàn Ìgbà Ìṣàfilọ́lẹ̀

512×512 ìpéwọ̀n. SDXL àwọn ìṣàmúlò-ètò ìpéwọ̀n — 768×1024 ìṣàfihàn, 1024×768 ìṣàfihàn, 1024×1024 àwọn ààyè kejì — gbogbo àwọn iṣẹ́. Àwọn ìṣàfihàn tí o jù lọ náà lo VRAM àti àwọn tókè̀ diẹ́ sii; H200 náà ń gbọ́dọ̀ sí 1024×1024 nípa ìrànwọ́.

Ya. Ìgbàdúrò ControlNet gbáwòdì ~1,000 àwọn tókènì fún àwòrán kan, bí a tí n ṣe nínú ìṣàfarawégbèsì SDXL. Àwọn òǹlò àìdákọ̀ọ̀kan náà gbáwòdì 6,000/ọ̀jọ́; àwọn

ControlNet-Union SDXL ProMax tí a fi pamọ́ láti ààyè-iṣẹ́ Apache 2.0 — tí a fọwọ́sì láti inú lilo ọ̀jà. Ààyè SDXL ni OpenRAIL++. Gbogbo àwọn náà gba lórí lilo ọ̀jà; àwọn àwòrán tí o ṣẹ̀dà nípa rẹ̀ nípa lórí lilo ọ̀jà láti inú ẹ̀yàn.

Ya. SDXL ati ControlNet-Union ní àwọn àwọn ààyè-iṣẹ́ tí a ṣì ní àwọn ìwé-ẹ̀rí àwọn ìṣẹ́dá, láti jẹ́ pé àwọn àwòrán tí o ṣẹ̀dá níbẹ̀ ní tí o lò fún iṣẹ́ ara ẹni àti iṣẹ́ iṣowó - àwọn àwọn àkókò, àwọn nǹkan, àwọn ìṣàmúlò-ètò ẹlẹ́gbẹ̀, àwọn nǹkan. Jẹ́ ki o mọ́ pé àwọn àwòrán ìṣàfihàn tí o fi pamọ́ ní ẹ̀yàn tí o nì láti lò.

Àgbègbè ìṣàfihàn tí ò kùnà tí a fi pamọ́ GPU (~2.5 GB) láti inú àká-ìpamọ́ GPÙ náà láti fi àwọn àgbègbè SDXL pamọ́. Ní àwọn ìṣàfihàn 30-60 sekúǹdù lórí ìtàn tí ò kùnà láti inú ìṣàfihàn àti àwọn ìgbàlẹ̀ LRU. Àgbègbè tí a fi pamọ́ lórí àwọn ìṣàfihàn ìṣàfihàn nínú àwọn sekúǹdù 4-7.

Ya — POST multipart to /v1/image/generate/ pẹlú módè́lì=sdxl (tabí módè́lì=controlnet-union-sdxl-promax), àgbèkalẹ̀, àwòrán_ìdárá (fáìlì), iru_ìdárá=<ọ̀kan ninú: canny, pose, ìfẹ̀sì, scribble, lineart, anime-lineart, mlsd, hed, ojú-ìdárá, ìṣàfarawé, ìṣàfàlì, tílè>, àwọn à

O fẹ́ Free.ai? Fì sọ̀kalẹ̀ fún àwọn ọrẹ̀ rẹ̀!

Àwọn àwọn ojú-ìwé