ControlNet — 12 kondisioner növü bir alətdə
Referans rəsmini yükləyin, şərtləndirmə növünü seçin, sorğu yazın. AI sizin referans strukturunu (xətt, poz, dərinlik, və s.) saxlayır və yeni məzmunu istənilən üslubda render edir. ControlNet-Union SDXL ProMax — Apache 2.0 tərəfindən dəstəklənir, tam kommersiya istifadəsi üçün əlverişlidir.
Nəticə
ControlNet necə işləyir
ControlNet mətn sorğusuna əsaslanmaq əvəzinə şəklin yaradılmasını istinad şəklinin quruluşuna əsaslanaraq idarə etməyə imkan verir. Bir preprosessor sizin istinadınızı oxuyur və tək bir şərtləndirmə siqnalı çıxarır - onun kənarları, dərinlik xəritəsi, insanın poz skeleti və s. Sonra sorğu üslubu, rəngləri, işıqlandırmanı və mövzunu seçdiyi zaman diffuziya modeli bu siqnal ilə kilidlənir. Nəticədə daxil etdiyiniz kompozisiyanı saxlayır amma tamamilə yeni bir şey kimi görünür.
Bu alət ControlNet-UnionSDXL ProMax (Apache 2.0) tərəfindən dəstəklənir - aşağıda göstərilən bütün 12 şərtləndirmə növünü anlayan tək bir modeldir, buna görə də hər dəfə fərqli bir şəbəkəni yükləmədən bir seçicidən onlar arasında keçid edə bilərsiniz. Bu tam olaraq kommersiya istifadəsi üçün əlverişlidir: yaratdığınız hər şeyi saxlayın, satın və ya dəyişdirin.
12 şərtləndirmə növü
Canny
Təmiz kənar aşkarlama. Təmiz kontur və xətt işlərinə ən uyğundur.
Ətraflı
3D dərinlik xəritəsi. Yerli planı saxlayır - nə yaxın, nə uzaqdır.
_Poz
OpenPose bədən skeleti. Fiqurun mövqeyini və ayaq mövqelərini kilidləyir.
Scribble
Bu zaman şəkillər rəsm əsərinə çevrilir.
Bölmə
Rəng kodlanmış bölgə xəritəsi. Səhnədəki hər bir sahəni sinfə ayır.
Normal
Üst-normal xəritə. 3D səth istiqamətini və əyrilikləri qoruyur.
Xətt
Fine line extraction — ink, manga və illustration üçün ideal.
Yavaş kənar
Canny-dən daha çox şəkilləri izləyən yumşaq sərhəd aşkarlaması.
MLSD
Düz xəttli hissələr. Mimarlıq, interyer və məhsul şəkilləri üçün hazırlanmışdır.
Fəallaşdır
Üstəlik, şəkillərin ölçüsünü artırmaq və teksturaları düzəltmək üçün detalları qoruyan şərtlər tətbiq edilir.
Rəsm
Rəsmin yalnız bir hissəsini yenidən yaratmaq üçün maska-aydın şərtlər.
Yenidən boya / boyama
Canvas'ı genişləndir və ya ətrafdakı quruluşa hörmət edərək bölgələri yenidən rənglə.
Üç addım
- Referans rəsmini yüklə — foto, şəkil, ekran görüntüsü, saxlamaq istədiyiniz quruluşda olan hər şey.
- İstəydiyiniz şərt növünü seçin (şəkil üçün poz, səhnə üçün dərinlik, təmiz konturlar üçün canny və ya lineart).
- İstəydiyiniz görünüşü təsvir edən və yarada biləcəyiniz bir sorğu yazın. Əlaqə daha sıx şəkildə izlənmək üçün idarə gücünü artırın, daha çox yaradıcı azadlıq üçün isə aşağı salın.
ControlNet — 12 kondisioner növü bir alətdə — FAQ
ControlNet-Union SDXL ProMax modelindən bütün 12 şərtləndirmə növünü - canny, pose, depth, scribble, lineart, anime-lineart, MLSD, HED, soft-edge, normal, segmentation, və tile - göstərən tək alət. Şərtləndirmə növünü seçin, istinad rəsmini buraxın, bir sorğu yazın və SDXL sizin istinad quruluşunu izləyəcək yeni bir rəsm göstərəcək.
img2img daxili məlumatı doğrudan-doğruya yenidən boyar - rənglər, kənarlar VƏ geometriya sorğu ilə qarışdırılır. ControlNet rəngləri çıxarır və yalnız seçilmiş struktur siqnalı (xətt, poz skeleti, dərinlik xəritəsi və s.) saxlayır. Bu sizə kompozisiyanı möhkəm saxlayaraq məzmunu radikal dəyişdirməyə imkan verir. img2img-dən daha güclü struktur nəzarəti.
Canny / lineart təmiz xətt işləmə daxili üçün. Anime-lineart anime-style xətt daxili üçün. Scribble / soft-edge / HED çirkin şəkillər və qrafika üçün. Pose şəkildən bədən mövqeyini kopyalamaq üçün. Depth səhnə geometriyasını qorumaq üçün / 3D layout. MLSD düz xətti qorumaq üçün (mimarlıq / interyer). Normal səth istiqamətini və həcmini qorumaq üçün. Segmentation bölgələri qorumaq üçün. Tile mövcud şəklin müxtəlifliklərini yaxşılaşdırmaq və ya artırmaq üçün.
ControlNet-Union SDXL ProMax (xinsir, Apache 2.0) bütün 12 kondisioner şəbəkələri tək bir 2.5 GB ağırlığa yığır. Əvvəlki tətbiqlər hər növ üçün ayrı ~2.5 GB ağırlıq yükləyirdi - canny və pose arasında keçid soyuq başlanğıc demək idi. Birlik modeli bir dəfə yüklənir və isti qalır, buna görə də hər kondisioner növü ilk çağırışdan sonra sub-saniyədir.
Bəli. Hər render üçün ~1,200 token (1,000 əsas SDXL + 20% ControlNet şərtləndirmə əlavə xərci). Giriş etmiş istifadəçilər gündəlik 30,000 pulsuz token alır - gündəlik 25 şərtləndirmə xərci olmadan. Anonim: gündə 2,500 token (~2 render).
Bəli - İdarəetmə gücləndirici sürücüsü (öncəki 0.7) çıxışın istinadınızı nə qədər ciddi şəkildə izləməli olduğunu müəyyən edir. 1.0 = sərt (çıxış istinadınızın yenidən göstərilməsinə bənzəyir). 0.4 = yumşaq (prompt daha çox azadlıq əldə edir). Yaradıcı dəyişikliklər üçün aşağı, etibarlılıq vacib olduğu zaman isə yuxarı qaldırın.
Ön qurğulu 512×512. SDXL standart nisbətləri - 768×1024 portret, 1024×768 yarımtəsvir, 1024×1024 kvadrat - hamısı işləyir. Böyük çıxıntılar daha çox VRAM və token istifadə edir; H200 rahatlıqla 1024×1024-ə qədər dəstəkləyir.
Referans rəsmləri dərhal işlənir, şərtlər çıxarılır, sonra da referans faylı silinir. Yalnız sorğu + son render /account/?tab=history-də qalır. Təlim üçün heç vaxt istifadə edilmir. /privacy/ tam siyasət üçün.
ControlNet-Union SDXL ProMax Apache 2.0 altında buraxılır - kommersiya istifadəsi də daxil olmaqla tamamilə icazəlidir. SDXL-in əsası OpenRAIL++-dır. Hər ikisi kommersiya istifadəsinə icazə verir; yaradılan rəsmlər sizindir və royaltisiz kommersiya istifadəsi üçün istifadə edə bilərsiniz.
Aynı model, aynı kalite, aynı koşullandırma sinyalleri. ComfyUI və A1111 12+ GB VRAM plus setup olan yerli bir GPU tələb edir. Biz onu hədsiz bir pulsuz pul ilə paylaşılan infrastrukturda işlədirik - quraşdırma yoxdur, GPU lazım deyil.
İlk zəng Union ağırlığını (~2.5 GB) GPU ön yaddaşına yükləyir və SDXL boru kəmərini qızdırır. Deploy və ya LRU eviction-dan sonra ilk zəngdə 30-60 saniyə gözləyin. Sonrakı zənglər tipi yük altında 4-7 saniyə ərzində geri dönür.
Bəli — /v1/image/generate/-ə model=sdxl (və ya model=controlnet-union-sdxl-promax) ilə çox hissəli POST göndərin, prompt, control_image (file), control_type=<canny, pose, depth, scribble, lineart, anime-lineart, mlsd, hed, soft-edge, normal, segmentation, tile>, optional control_strength (0.1-1.5). Bearer auth, 10K free tokens/month. /api/ curl nümunələri var.