ControlNet - 12 нөхцөлийн төрөл нэг хэрэгслээр
Эх сурвалж зургийг татаж аваад, тохируулах хэлбэрийг сонгоод, асуулт бичиж өгнө. AI нь эх сурвалжуудын бүтцийг (зөвхөн шугам, байрлал, гүн гэх мэт) хадгалж, шинэ агуулгаа ямар ч хэв маягаар гаргаж өгнө. ControlNet- Union SDXL ProMax — Apache 2. 0, бүрэн бизнесийн зориулалттай.
Үр дүн
ControlNet хэрхэн ажилладаг вэ
ControlNet нь зөвхөн текстийн заавар дээр тулгуурлахын оронд зураг үүсгэх үйлдлийг эх сурвалж зургийн бүтцээр удирдах боломжийг олгоно. Өмнөх процессор эх сурвалжаа уншиж, нэг нөхцөлжүүлэх дохиог - талын өнгө, гүн, хүний дүрс, гэх мэтийг гаргана. Дараа нь диффузийн загвар энэ дохионд холбогдож, заавар нь хэв маяг, өнгө, гэрэлтүүлэг, сэдвийг шийднэ. Үр дүн нь оруулсан бүтцийг хадгална, гэхдээ шинээр харагдах болно.
Энэ хэрэгслийг ControlNet-UnionSDXL ProMax (Apache 2.0) дэмждэг. Энэ нь доор дурдсан 12 нөхцөлийн бүх төрлийн загвар бөгөөд та нэг сонгогчоос өөр сүлжээг ачаалах шаардлагагүйгээр хооронд нь шилжих боломжтой. Энэ нь бүрэн худалдааны зориулалттай: юу ч бүтээсэн бай хадгал, зар, эсвэл өөрчил.
12 нөхцөлийн төрөл
Хөөрхөн
Хэт тод өнгийн өнгө.
гүн
3D гүнгийн зураг. Газарзүйн байршлыг хадгална - ойр, хол юу байна.
Зүүн
OpenPose биеийн бүтэц. Бүтээлийн байрлал, биеийн хэсгүүдийг хааж өгнө.
Скрипт
Хөдөлгөөнгүй гараараа зурсан зургууд урлагийн бүтээл болж хувирчээ.
Бүлэг
Цагаан өнгийн бүсийн газрын зураг. Бүс бүрийг ангид хуваана.
Зөв
Нүүрсний хэвийн зураг. 3D гадаргуугийн чиглэл, хагаралуудыг хадгална.
Хэсэг
Хөнгөн шугам гаргах - цаас, манга, илтгэлийн хувьд тохиромжтой.
Хөнгөн өнцөг
Canny-ээс илүүтэй хэлбэрийг дагаж, хялбархан хязгаарыг илрүүлэх.
МЛСД
Зүүн гарын урт шугам. Архитектур, интерьер, бүтээгдэхүүний зурагт зориулсан.
Хуудсыг нээх
Тодорхойлолт хадгалах нөхцөлийг дээшлүүлэх болон текстурын ажлыг гүйцэд хийх.
Зурах
Зургийн зөвхөн хэсгийг сэргээх маск мэдрэгчтэй нөхцөл.
Суулгах
Хиймэл дагуулыг өргөтгөх эсвэл эргэн тойрны бүтцийг үл харгалзан бүс нутгийг дахин зурна.
Гурван алхам
- Эх сурвалж зураг — зураг, зураглал, дэлгэцийн зураг, эсвэл хадгалж үлдэх хүссэн бүтцийг агуулсан зүйлийг өргөтгөнө үү.
- Та өөрийн хүссэн нөхцөлийн төрлийг сонгоно уу (хөгжмийн хувьд дүрс, дүрслэлийн хувьд гүн, цэвэр өнгөний хувьд өнгөлөг эсвэл шулуун).
- Өөрийн хүссэн дүр төрхийг тодорхойлсон асуулт бичиж бий болго. Хяналтын хүчийг нэмэгдүүлэхэд илүү нарийн дагуулах, багасгах үед илүү бүтээлч байх.
ControlNet - 12 нөхцөлийн төрөл нэг хэрэгслээр — FAQ
ControlNet- Union SDXL ProMax загвараас 12 төрлийн нөхцөлийг харуулах нэг хэрэгсэл - canny, pose, depth, scribble, lineart, anime- lineart, MLSD, HED, soft- edge, normal, segmentation, and tile. нөхцөлийн төрөл сонгож, эх сурвалж зургийг хаяж, асуулт бичиж, SDXL эх сурвалж зургийг дагасан шинэ зургийг гаргах болно.
img2img нь шууд оруулсан мэдээллийг дахин зурна - өнгө, өнцөг, геометрийг тохируулах заавартай. ControlNet нь өнгө, бүтцийн мэдээллийг (зөвхөн сонгосон бүтэц (хэсэг, дүрс, гүн, гэх мэт)) хадгална. Энэ нь танд зохион байгуулалтыг хадгалж байхдаа агуулгаа радикалаар солих боломжийг олгоно. img2img- аас илүү хүчтэй бүтэцтэй.
Canny / lineart - цэвэр урт шугам оруулалт. Anime- lineart - аниме хэв маягийн урт шугам оруулалт. Scribble / soft- edge / HED - бүдүүн зургийн дүрслэл, зураас. Pose - зурагнаас биеийн байрлалыг хуулбарлах. Depth - дүрслэлийн геометри / 3D загварыг хадгалах. MLSD - шулуун шугам (архитектур / доторх) хадгалах. Normal - гадаргууны чиглэл, хэмжээг хадгалах. Segmentation - бүсүүдийг хадгалах. Tile - байгаа зургийг сайжруулах, эсвэл хэмжээг нь нэмэгдүүлэх.
ControlNet- Union SDXL ProMax (xinsir, Apache 2. 0) нь бүх 12 нөхцөлжүүлэх сүлжээг нэг 2. 5 ГБ жинд багцлана. Өмнөх суурилуулалтууд төрөл бүрийн ~2. 5 ГБ жинг өөрсдөө татаж авдаг байсан - canny болон pose хооронд шилжих нь хүйтэн эхлэл гэсэн үг юм. Union загвар нэг удаа ачаалагдаж, дулаан хэвээр байдаг, ингэснээр нөхцөлжүүлэх төрөл бүрийн анхны дуудлагаас секундын дотор хийгддэг.
Тийм. ~1,200 тэмдэгт нэг дүрслэлд (1,000 үндсэн SDXL + 20% ControlNet нөхцөлийн нэмэлт төлбөр). Нээгдсэн хэрэглэгчид өдөрт 30,000 үнэгүй тэмдэгт авна - өдөрт 25 нөхцөлийн дүрслэл үнэгүй. Аннонім: 2,500 тэмдэгт/ өдөр (~2 дүрслэл).
Тийм - Хяналтын хүч чадлын слайдер (стандарт 0. 7) нь гарчиг таны холбоосыг хэр хатуу дагах вэ гэдгийг тодорхойлно. 1. 0 = хатуу (гарчиг нь таны холбоосыг дахин харуулсан мэт харагдана). 0. 4 = сул (хүсэлт илүү чөлөөтэй). Өөрчлөлтийн хувьд багасгана, үнэн зөв байдал чухал бол нэмэгдүүлнэ.
512x512 урьдчилсан. SDXL стандарт харьцаа - 768x1024 урт, 1024x768 өргөн, 1024x1024 квадрат - бүгд ажиллана. том гарчиг нь илүү VRAM болон токен хэрэглэнэ; H200 нь 1024x1024 хүртэлх хэмжээг дэмждэг.
Эх сурвалж зураг нь шууд боловсруулагдаж, нөхцөлийг нь гаргаж авч, дараа нь эх сурвалж файлыг устгана. Зөвхөн асуулт + эцсийн дүрслэл /account/?tab=history дээр үлдэнэ. Сургалтанд хэзээ ч ашиглахгүй. /privacy/ -д бүрэн дүрэм байдаг.
ControlNet- Union SDXL ProMax нь Apache 2.0-ийн дор гарсан - бүрэн зөвшөөрөгдсөн, худалдааны зориулалттай. SDXL-ийн суурь нь OpenRAIL++ юм. Хоёр нь ч худалдааны зориулалттай ашиглах боломжтой; таны бүтээсэн зураг нь та нарынх бөгөөд та нар төлбөргүйгээр худалдааны зориулалтаар ашиглаж болно.
Нэг загвар, нэг чанар, нэг хэмжилтийн сигнал. ComfyUI болон A1111 нь 12+ GB VRAM-тай, мөн тохиргоотой орон нутгийн график процессор шаардана. Бид үүнийг нийтлэг дэд бүтцээр, үнэгүй нөөцөөр ажиллуулдаг - суулгах шаардлагагүй, график процессор шаардахгүй.
Эхний дуудлага нь GPU- ийн кэш рүү Union- ийн жинг (~2. 5 GB) татаж авч SDXL хоолойг халаана. Суулгах эсвэл LRU- ийг нүүлгэхээс хойш анхны хүсэлт 30- 60 секундын дараа ирнэ. Дараагийн дуудлага нь хэвийн ачаалалтай үед 4- 7 секундын дараа ирнэ.
Тийм — /v1/image/generate/ руу multipart POST хийхэд model=sdxl (эсвэл model=controlnet-union-sdxl-promax), prompt, control_image (file), control_type=<canny, pose, depth, scribble, lineart, anime-lineart, mlsd, hed, soft-edge, normal, segmentation, tile>, optional control_strength (0.1-1.5) гэсэн сонголтууд байна. Bearer auth, 10K free tokens/month. /api/ has curl examples.