ControlNet - 12 нөхцөлийн төрөл нэг хэрэгслээр
Эх сурвалж зургийг татаж аваад, тохируулах хэлбэрийг сонгоод, асуулт бичиж өгнө. AI нь эх сурвалж зургийн бүтцийг (хэсэг, байрлал, гүн гэх мэт) хадгалж, шинэ агуулгаа ямар ч хэв маягаар гаргаж ирнэ. ControlNet-Union SDXL ProMax - Apache 2.0-ийн дэмжлэгтэйгээр, бүрэн бизнесийн зориулалттай.
Үр дүн
ControlNet хэрхэн ажилладаг вэ
ControlNet нь таныг зураг үүсгэхдээ зөвхөн текстийн асуултанд тулгуурлахын оронд, холбоос дүрсний бүтэцтэй хамт зураг үүсгэх боломжийг олгоно. Өмнөх процессор таны холбоосыг уншиж, нэг нөхцөлжүүлэх сигнал - түүний талын хэмжээ, гүн, хүний дүрс, гэх мэтийг гаргана. Диффузын загвар энэ сигналд холбогдож, асуулт нь хэв маяг, өнгө, гэрэлтүүлэг, сэдвийг шийднэ. Үр дүн нь таны оруулсан яг адилхан боловч шинээр харагдах болно.
Энэ хэрэгслийг ControlNet-Union SDXL ProMax (Apache 2.0) дэмждэг. Энэ нь доор дурдсан 12 нөхцөлийн бүх төрлийн нэг загвар бөгөөд та өөр сүлжээг ачаалах шаардлагагүйгээр нэг сонгогчоос өөр хоорондоо шилжих боломжтой. Энэ нь бизнесийн хувьд бүрэн тохиромжтой: юу ч бүтээсэн бай хадгал, зар, эсвэл өөрчил.
12 нөхцөлийн төрөл
Хөөрхөн
Хэт тод өнгийн өнгө.
гүн
3D гүнгийн зураг. Газарзүйн байршлыг хадгална - ойр, хол юу байна.
Зүүн
OpenPose биеийн бүтэц. Бүтээлийн байрлал, биеийн хэсгүүдийг хааж өгнө.
Скрипт
Хөдөлгөөнгүй гараараа зурсан зургууд урлагийн бүтээл болж хувирчээ.
Бүлэг
Цагаан өнгийн бүсийн газрын зураг. Бүс бүрийг ангид хуваана.
Зөв
Нүүрсний хэвийн зураг. 3D гадаргуугийн чиглэл, хагаралуудыг хадгална.
Хэсэг
Хөнгөн шугам гаргах - цаас, манга, илтгэлийн хувьд тохиромжтой.
Хөнгөн өнцөг
Canny-ээс илүүтэй хэлбэрийг дагаж, хялбархан хязгаарыг илрүүлэх.
МЛСД
Зүүн гарын урт шугам. Архитектур, интерьер, бүтээгдэхүүний зурагт зориулсан.
Хуудсыг нээх
Тодорхойлолт хадгалах нөхцөлийг дээшлүүлэх болон текстурын ажлыг гүйцэд хийх.
Зурах
Зургийн зөвхөн хэсгийг сэргээх маск мэдрэгчтэй нөхцөл.
Суулгах
Хиймэл дагуулыг өргөтгөх эсвэл эргэн тойрны бүтцийг үл харгалзан бүс нутгийг дахин зурна.
Гурван алхам
- Эх сурвалж зураг - зураг, зураглал, дэлгэцийн зураг, эсвэл хадгалах хүссэн бүтцийг агуулсан ямар ч зүйлийг өргөтгөнө.
- Та өөрийн хүссэн нөхцөлийн төрлийг сонгоно уу (хөгжмийн хувьд дүрс, дүрслэлийн хувьд гүн, цэвэр өнгөний хувьд өнгөлөг эсвэл шулуун).
- Өөрийн хүссэн дүр төрхийг тодорхойлсон асуулт бичиж бий болго. Хяналтын хүчийг нэмэгдүүлэхэд илүү нарийн дагуулах, багасгах үед илүү бүтээлч байх.
ControlNet - 12 нөхцөлийн төрөл нэг хэрэгслээр - FAQ
ControlNet нь текстийн асуултанд л тулгуурлахын оронд бүтэцтэй холбоос дүрсээр AI зураг үүсгэх боломжийг олгодог. Эх сурвалж татаж аваад, нөхцөлийн төрөл (байрлал, гүн, талын хэмжээ, зураас, хэсэгчлэл гэх мэт) сонгоод, асуулт бичиж өгвөл SDXL нь таны үгнээс агуулга, хэв маяг, өнгийг авч, холбоос дүрсийг дагасан шинэ зураг үүсгэнэ. Энэ нь ControlNet-Union SDXL ProMax - нэг Omni- сонгогч дээр 12 нөхцөлийн төрөлд тохирох нэг загвараар дэмжигддэг.
img2img нь шууд оруулсан мэдээллийг дахин зурна - өнгө, өнцөг, геометрийг тохируулах заавартай. ControlNet нь өнгө, бүтцийн мэдээллийг (зөвхөн сонгосон бүтэц (хэсэг, дүрс, гүн, гэх мэт)) хадгална. Энэ нь танд зохион байгуулалтыг хадгалж байхдаа агуулгаа радикалаар солих боломжийг олгоно. img2img- аас илүү хүчтэй бүтэцтэй.
Canny / lineart - цэвэр урт шугам оруулалт. Anime- lineart - аниме хэв маягийн урт шугам оруулалт. Scribble / soft- edge / HED - бүдүүн зургийн дүрслэл, зураас. Pose - зурагнаас биеийн байрлалыг хуулбарлах. Depth - дүрслэлийн геометри / 3D загварыг хадгалах. MLSD - шулуун шугам (архитектур / доторх) хадгалах. Normal - гадаргууны чиглэл, хэмжээг хадгалах. Segmentation - бүсүүдийг хадгалах. Tile - байгаа зургийг сайжруулах, эсвэл хэмжээг нь нэмэгдүүлэх.
ControlNet- Union SDXL ProMax (xinsir, Apache 2. 0) нь бүх 12 нөхцөлжүүлэх сүлжээг нэг 2. 5 ГБ жинд багцлана. Өмнөх суурилуулалтууд төрөл бүрийн ~2. 5 ГБ жинг өөрсдөө татаж авдаг байсан - canny болон pose хооронд шилжих нь хүйтэн эхлэл гэсэн үг юм. Union загвар нэг удаа ачаалагдаж, дулаан хэвээр байдаг, ингэснээр нөхцөлжүүлэх төрөл бүрийн анхны дуудлагаас секундын дотор хийгддэг.
Тийм. ~1,200 тэмдэгт нэг дүрслэлд (1,000 үндсэн SDXL + 20% ControlNet нөхцөлийн нэмэлт төлбөр). Нээгдсэн хэрэглэгчид өдөрт 30,000 үнэгүй тэмдэгт авна - өдөрт 25 нөхцөлийн дүрслэл үнэгүй. Аннонім: 2,500 тэмдэгт/ өдөр (~2 дүрслэл).
Тийм - Хяналтын хүч чадлын слайдер (стандарт 0. 7) нь гарчиг таны холбоосыг хэр хатуу дагах вэ гэдгийг тодорхойлно. 1. 0 = хатуу (гарчиг нь таны холбоосыг дахин харуулсан мэт харагдана). 0. 4 = сул (хүсэлт илүү чөлөөтэй). Өөрчлөлтийн хувьд багасгана, үнэн зөв байдал чухал бол нэмэгдүүлнэ.
512x512 урьдчилсан. SDXL стандарт харьцаа - 768x1024 урт, 1024x768 өргөн, 1024x1024 квадрат - бүгд ажиллана. том гарчиг нь илүү VRAM болон токен хэрэглэнэ; H200 нь 1024x1024 хүртэлх хэмжээг дэмждэг.
Тийм. ControlNet үүсгэх нь зураг бүрт ~1,000 тэмдэгт зарцуулдаг, стандарт SDXL үүсгэхтэй адил. Аннонім хэрэглэгчид өдөрт 6,000 тэмдэгт авна; үнэгүй хэрэглэгчид өдөрт 30,000 тэмдэгт авна. Кредит карт, усны тэмдэг байхгүй. Дээд нягтралтай эсвэл олон хувилбартай бол нөөцөөс харьцангуй их мөнгө зарцуулна.
Хяналтын зураг нь бүтцийг эзэмших бөгөөд асуулт нь бүх зүйлийг эзэмших болно. Хэлэлцэх сэдвийг, хэв маягийг, материал, гэрэлтүүлэг, сэтгэл хөдлөлийг асуултанд тодорхойл. Жишээ нь, өрөөний гүнийн зураг, "Скандинавийн орчинтой өрөө, халуун өглөөний гэрэл, модон шал, бодит зураг" гэсэн асуулт. Хоосон элементүүдийг хасахын тулд сөрөг асуулт нэмнэ. Хэрэв гарчиг нь холбоосыг хэт хатуу дагавал, хяналтын хүчийг сулруулна. Хэрэв үл тоомсорлодог бол, хүчийг нэмэгдүүлнэ.
Нэг загвар, нэг чанар, нэг хэмжилтийн сигнал. ComfyUI болон A1111 нь 12+ GB VRAM-тай, мөн тохиргоотой орон нутгийн график процессор шаардана. Бид үүнийг нийтлэг дэд бүтцээр, үнэгүй нөөцөөр ажиллуулдаг - суулгах шаардлагагүй, график процессор шаардахгүй.
Эхний дуудлага нь GPU- ийн кэш рүү Union- ийн жинг (~2. 5 GB) татаж авч SDXL хоолойг халаана. Суулгах эсвэл LRU- ийг нүүлгэхээс хойш анхны хүсэлт 30- 60 секундын дараа ирнэ. Дараагийн дуудлага нь хэвийн ачаалалтай үед 4- 7 секундын дараа ирнэ.
Тийм — /v1/image/generate/ руу multipart POST хийхэд model=sdxl (эсвэл model=controlnet-union-sdxl-promax), prompt, control_image (file), control_type=<canny, pose, depth, scribble, lineart, anime-lineart, mlsd, hed, soft-edge, normal, segmentation, tile>, optional control_strength (0.1-1.5) гэсэн сонголтууд байна. Bearer auth, 10K free tokens/month. /api/ has curl examples.