ControlNet - 12 ụdị nrụnye n'otu ihenhọrọ
Wepụta inyogo nlebara anya, họrọ ụdị nlebara anya, depụta nkuzi. AI na-echekwa nlebara anya gị's struct (laịnụ, pose, depth, wdg) nakwa na-egosipụta ihenhọrọ ọhụrụ n'ụdị ọbụla. E akwado ya site na ControlNet-Union SDXL ProMax — Apache 2.0, zuru ezu n'iji ọrụ n'ọrụ.
Ihenhọrọ ahụ
Otú ControlNet si arụ ọrụ
ControlNet na-enye gị ohere ịhazi inyogo site na nhazi nke inyogo n'ebe ọbụla n'ebe ọbụla. Preprocessor na-agụ ihenhọrọ gị ma na-ewepụ akara n'otu - ebe ya, map n'obosara ya, ọnọdụ skeleton nke onye ahụ, nakwa ihe ndị ọzọ. Móòdù n'ụdị nke na-adọba a
N'ime ihenlereanya a, a na-aghọta ụdị 12 niile nke ọnọdụ n'okpuru, ya mere ị ga-ahọrọ n'etiti ha site n'otu onye nhọrọ na-enweghị ịwụnye netwọk dị iche iche oge ọ bụla. Ọ bụ nke zuru ezu maka iji ọrụ azụmahịa: chekwaa, zụta, ma ọ bụ gbanwee ihe ọbụla ị na-emepụta.
Ụdị 12 nke nrụnye
Canny
Nchọpụta etiti dị nro. Ọkachasị maka ichekwa okpuru nakwa ọrụ ngwe dị ọcha.
Òtù
3D depth map. Na-echekwa spáilụu laịịtị - ihe dị nso na ihe dị nso.
Òtù
OpenPose ahụ skeleton. Na-egbochi ọnọdụ na ebe ndị ahụ.
Scribble
Ọrụ-aka-edepụtara doodles na-atụgharịa na ọfụụ.
Nhazi
Map mpaghara ebe a na-edezi ụcha. Hazie mpaghara ebe ọbụla nke ngosi iheomume ka ọ bụrụ klas.
O_gēzì
Map n'elu-n'ozuzu. Na-echekwa 3D n'elu-elu na bumps.
Ụdị ụcha
Nhazi ụghasị laịnụ - dị mma maka inking, manga, na ngosi.
Soft-edge
Nchọpụta okpuru dị nro nke na-eso ụcha n'ụzọ dị mfe karịa Canny.
MLSD
Straight-line segments. E mepụtara maka architecture, interiors, nakwa ihenhọrọ shots.
Tile
Nhazi-na-echekwa nkọwa maka n'ịbawanye na ọrụ tebụl na-enweghị nkwụsị.
Ńkwádò
Nhazi nke na-eburu n'uche maka ịrụgharị naanị akụkụ inyogo ahụ.
Weghachi ụcha / pụta ụcha
Kewapụta canvas mọọbụ weghachi mpaghara ebe mgbe ị na-egosipụta nhazi gburugburu.
Ụzọụkwụ atọ
- Bipụta inyogo nlebara anya - foto, skéìtị̀, skéètụ̀, ihe ọbụla na-echekwa usoro iheomume ịchọrọ.
- Họrọ ụdị nrụnye nke na-adabere n'ihe ịchọrọ (ọdịiche maka ọ̀rọ̀, ụba maka ebe, n'ụzọ ma ọ bụ n'ụzọ n'ụzọ maka n'ime.
- Depụtapụta n'ime nkuzi ahụ n'ụdị ịchọrọ ma mepụta. Kpọlite ike nlekọta ka ịga n'ihu na ndesịta ihenhọrọ ahụ, gbanye ya maka n'ike mmụọ nsọ nke ukwuu.
ControlNet - 12 ụdị nrụnye n'otu ihenhọrọ — FAQ
Otu ihe eji eme ihe nke na-egosi ụdị 12 niile nke ọnọdụ site na ControlNet-Union SDXL ProMax model - canny, pose, depth, scribble, lineart, anime-lineart, MLSD, HED, soft-edge, normal, segmentation, na tile. Họrọ ụdị ọnọdụ, hapụ ihe nlereanya, depụta ihe nlereanya, na SDXL na-egosipụta ihe nlereanya ọhụrụ nke na-eso arụ ọrụ nke ihe nlereanya gị.
img2img na-ewere n'ọnụ n'imegharị n'ụzọ ziri ezi - agba, etiti, nakwa jiometrị na-akpụcha na nkuzi. ControlNet na-ewepụ agba na-echekwa naanị akara nhazi ahụ a họọrọ (laịnụ, skeleton, map n'okpuru, wdg). Ọ na-enye gị ohere ịgbanwe ihenhọrọ n'ụzọ zuru ezu mgbe ị na-echekwa nhazi ahụ. Nhazi nhazi dị ike karịa img2img.
Canny / lineart maka nbanye njirimara njirimara. Anime-lineart maka nbanye njirimara njirimara anime. Scribble / soft-edge / HED maka ntọala na doodles. Pose iji debata ọnọdụ ahụ site na foto. Depth iji chekwaa ebe oyiyi jiometrị / 3D laịịtị. MLSD iji chebe laịịị (architecture / interiors). Normal iji chebe ntọala mpaghara ebe ahụ na ọbụna ụda. Segmentation iji chebe mpaghara ebe ahụ. Tile iji kọwaa ma ọ bụ melite mgbanwe nke inyogo nọ.
ControlNet-Union SDXL ProMax (xinsir, Apache 2.0) na-echekwa netwọk 12 niile na-echekwa n'ime 2.5 GB dị iche iche. Oge gara aga na-ebudata ~2.5 GB dị iche iche n'otu ụdị - gbanwee n'etiti canny na pose pụtara na ọ bụ cold-start. Ụdị ụka na-ebudata otu oge ma na-adịgide adịgide, yabụ ụdị ọ bụla na-echekwa bụ sub-second mgbe ịkpọ mbụ.
Ee. ~ 1,200 tokens kwa render (1,000 base SDXL + 20% ControlNet conditioning surcharge). Ndị ọrụ banye-na-enweta 30,000 free tokens kwa ụbọchị - banyere 25 conditioned renders kwa ụbọchị na enweghị ụgwọ. Anonymous: 2,500 tokens / ụbọchị (~ 2 renders).
Ya - nrụgide (dìfọ́ọ̀ltụ̀ 0.7) na-ekpebi ka esi arụ ọrụ n'ụzọ zuru ezu n'ihe nlereanya gị. 1.0 = zuru ezu (ihe nlereanya dị ka ntụgharị nke ihe nlereanya gị). 0.4 = gbasaa (nkwupụta nwere ikikembanye ka ukwuu). Wepụ ya maka mgbanwe n'ụzọ zuru ezu, wepụta ya mgbe nghọta dị mkpa.
512×512 diff. SDXL standard ratios - 768×1024 portrait, 1024×768 landscape, 1024×1024 square - niile ọrụ. Larger outputs consume more VRAM na tokens; the H200 supports up to 1024×1024 comfortably.
Inyogo nlebara anya a na-arụ ọrụ n'oge na-adịghị anya, a na-ewepụkwa ọnọdụ, mgbe ahụ a na-ehichapụ faịlụ nlebara anya. Ọ bụ naanị profaịlụ + ngwụcha render ka echebara na /akaụntụ/?tab=ihe ọmụma. A na-ejighị ya eme ihe maka nkuzi. /privacy/ maka ntọala zuru ezu.
ControlNet-Union SDXL ProMax a na-ahapụ n'okpuru Apache 2.0 - nke zuru ezu, gụnyere ọrụ azụmahịa. SDXL bụ OpenRAIL++. Ha abụọ na-enye ikike iji ọrụ azụmahịa; inyogo gị ejirila mee bụ gị iji ọrụ azụmahịa na-enweghị ikike.
Modeldị otu, ogo otu, akara ngosi otu. ComfyUI na A1111 chọrọ GPU mpaghara na 12+ GB VRAM nakwa setup. Anyị na-agba ya na ntọala nke e mepụtara na nnukwu pool - enweghị nwụnye, enweghị GPU chọrọ.
Ọrụ mbụ na-ebudata nrụgide Union (~2.5 GB) n'ime GPU cache na-ekpo ọkụ SDXL pipeline. Echere 30-60 sekọnd na arịrịọ mbụ mgbe deployment ma ọ bụ LRU eviction. Ọrụ ndị ọzọ n'okpuru nrụnye na-ebuli elu na 4-7 sekọnd.
Ya - POST multipart ka /v1/image/generate/ na model=sdxl (maọbụ model=controlnet-union-sdxl-promax), nkuzi, control_image (faịlụ), control_type=<otu nke: canny, pose, depth, scribble, lineart, anime-lineart, mlsd, hed, soft-edge, narị, segmentation, tile>, nhọrọ control_strength (0.1-1.5). Ogo onye na-eweta, 10K free tokens/month. /api/ nwere curl ọmụmụ.