ControlNet — 12 קאָנדיציע־סאָרטן אין איין מכשיר
אַרײַנשטעלן אַ רעפֿערענץ בילד, קלײַבן אַ קאָנדיציע־סאָרט, שרײַבן אַ פֿראַגע. די קײן האַלט די רעפֿערענץ־סטרוקטור (ליניעס, פּאָזע, טיף, אױף אַ װײַטער וועג) און װײַזט אױס נײַע אינהאַלט אין װעלכע סאָרט אױף אױף. געשטיצט פֿון ControlNet-Union SDXL ProMax — Apache 2.0, פֿולשטענדיק קאַסטאַמעריש־פֿאַרבינדן
רעזולטאט
ווי ControlNet אַרבעט
ControlNet לאָזט אײַך װײַזן בילד־געזײג מיט דער סטרוקטור פֿון אַ רעפֿערענץ בילד אין װאָס דו װילסט נישט זיך פֿאַרלירן אין דער טעקסט־פֿאָרשונג. אַ פֿאַר־פּראָצעסאָר לײענט די רעפֿערענץ און װײַזט אײן קאָנדיציע־סיגנאל — זײַנע שורות, זײַן טיף־מאַפּע, דעם פּאָז־סקעלעטל פֿון אַ מענטש, און אַזוי אַרום. דער דיפֿינאַציע־מאָדעל איז דערנאָך פֿאַרשלאָסן צו דעם סיגנאל בשעת דער פֿאָרשונג באַשטימט דעם סטיל, פֿאַרבן, באַװײַזונג און טעמע. דער רעזולטאט האַלט די װײַסע קאָמפּאָזיציע װאָס דו האָסט געגעבן, אָבער װײַזט אויס ווי עפּעס אַ גאַנץ נײַעם.
דאָס מכשיר איז אונטערגעשטיצט פֿון ControlNet-UnionSDXL ProMax (Apache 2.0) — אַ איין מאָדעל װאָס פֿאַרשטײט אַלע 12 קאָנדיציע־סאָרטן אונטן, אַזוי אַז דו װײַזסט צווישן זיי פֿון איין סעלעקציע אָן אַרײַנשטעלן אַ אַנדערש נעץ יעדער מאָל. עס איז פֿולשטענדיק פֿאַרקויף־פֿאַרבינדן: היטן, פֿאַרקויף אָדער װײַז אַלץ װאָס דו שאַפֿסט
די 12 קאָנדיציע־סאָרטן
קלאָר
קלײנע קײט־באַהאַלט. בעסטער פֿאַר דער היט פֿון קלײנע קנעפּלעך און קלײנע שורות
טיף
3ד טיף־מאַפּע. װעט האַלטן דעם אָרט־באַשטײטונג — װאָס איז נאָענט און װאָס איז אַהין
פּאָזיציע
OpenPose־גוף־סקעלעטל. שעפּט די פֿיס־פּאָזיציעס און די פֿיס־לינקס־פּאָזיציעס
שריפֿטצײכן
לײדיקע האַנטגעזײענע קראָטן זײַנען געוואָרן צום ענדיקן קונסט.
צעטיילונג
פֿאַרב־קאָדירטע געגנט־מאַפּע. צופּאַסן װײַל אַ געגנט פֿון דער סצענע צו אַ קלאַס
נאָרמאַל
נאָרמאַל־שטח־מאַפּע. װײַזט די 3־דימענשאַנאַלע אויטאָמאַטישע אָרענעװירונג און הומפּס
ליניאַרער בילד
פֿינע לײנער־אַרײַנשרײַב — ידעאַל פֿאַר שריפֿט, מאַנגאַ און װײַזער
שאַטירונג
קלאָרע װײַזער־בײַטװײַזונג װאָס פֿילט פֿאָרעם װײַטער ווי Canny
MLSD
רעכטע־ליניע סעקטאָרן. געשאַפֿן פֿאַר אַרטשיטעקטור, אינערלעכער פּלאַן און פּראָדוקט־שאָפער
קײל
דיטיילד־באַהאַלטנדיקע צושטאַנד פֿאַר װײַטער־סעלעקציע און שײנע־פֿאַרבײַטענע טעקסטור־אַרבעט
פֿאַרב:
מאַסקע־באַװעגנדיקע צושטאַנד צו רעזיסטירן נאָר אַ טייל פֿון אַ בילד
פֿאַרבundo-type
טעקסט פֿאַרבundo-type
דריי שריט
- אַרײַנשטעלן אַ רעפֿערענץ בילד — אַ בילד, אַ שריפֿטצײכן, אַ בילדצעלן, אַלץ מיט דער סטרוקטור װאָס איר װילט היטן
- קלײַב אױס דעם צושטאַנד־סאָרט װאָס פּאַסט צו װאָס דו ביסט אױפֿגעפֿאַלן (פּאָז פֿאַר אַ פֿיס, טיף פֿאַר אַ סצענע, קלאָר אָדער ליניאַר פֿאַר קלאָרע װײַזער)
- שריפֿט אַ פֿראַגע װאָס באַשרײַבט װי דו װילסט עס אויסזען און װי דו װילסט עס שאַפֿן. העכער די קאָנטראָל־שטאַרק צו פֿאָלגן די רעפֿערענץ קלענער, קלענער עס צו פֿאַרגרעסערן די שריפֿטלעכע פֿרײַהייט.
ControlNet — 12 קאָנדיציע־סאָרטן אין איין מכשיר — FAQ
אײנערלעך מכשיר װאָס װײַזט אױף אַלע 12 קאָנדיציע־סאָרטן פֿון דעם ControlNet-Union SDXL ProMax מודל — קלײן, פּאָזע, טיף, שריפֿט, ליניאַר, אַנימע־ליניאַר, MLSD, HED, שװער־רעד, נאָרמאַל, צעטיילונג, און קײל. קלײַב אַ קאָנדיציע־סאָרט, לאָז אַ רעפֿערענץ־בילד, שרײַב אַ פֿראַגע, און SDXL װײַזט אַ נײַעם בילד װאָס פֿילט זיך אױף די סטרוקטור פֿון דיין רעפֿערענץ
img2img װײַזט איבער די אַרײַנשרײַב־טעקע ישׂראל־פֿאַרב, שורות און געאָמעטריע מיט דער פֿראַגע. ControlNet װעט די פֿאַרבן אױס און האַלט נאָר די אויסגעקליבן סטרוקטורעלע סימן (ליניעס, פּאָז־סקעלעטן, טיף־מאַפּע, אױף די אַנדערע). דאָס לאָזט אײַך קײן װײַטערע אינפֿאָרמאַציע איבערצושטעלן און דערצו האַלט מען די קאָמפּאָזיציע קײן װײַט ניט אױף. מער שטאַרקע סטרוקטורעלע קאָנטראָלירן ווי img2img
קלײַב אַלץ אױסCanny/lineart פֿאַר אַ קלאָרע שורה־אַרײַנשרײַב. Anime-lineart פֿאַר אַ anime־סטייל שורה־אַרײַנשרײַב. Scribble/soft-edge/HED פֿאַר גרױסע שריפֿט־ און קאָפּיע־סעקשאַנז. Pose צו קאָפּירן אַ קאָפּיע פֿון אַ פֿאָטאָגראַפֿיע. Depth צו היטן די סצענע־געאָמעטריע/3D־האַלטונג. MLSD צו היטן די רעכטע ליניעס (אַרקיטעקטשער/אַרײַנשרײַב). Normal צו היטן די אופֿן־אויספֿיר און די װאָלום. Segmentation צו היטן די געגנטן. Tile צו פֿאַרפֿאַרבײַטן אָדער פֿאַרגרעסערן די װאַריאַציעס פֿון אַ בילד וואָס איז דאָ.
ControlNet-Union SDXL ProMax (xinsir, Apache 2.0) אַרײַנפֿאַלט אַלע 12 קאָנדיציע־נעטוואָרקן אין אַ איין 2.5 GB וואָג. עלטערע װײַזונגען האָבן אױפֿגעלאָשן אַ באַזונדערן ~2.5 GB וואָג פֿאַר יעדער טיפּ — װײַזונג צװישן קנײַ און פּאָזע האָט געװען אַ קאַלטן אָנהייב. דער קאָנדיציע־מאָדעל אַרײַנפֿאַלט אַמאָל און בלײַבט האַרץ, אַזוי אַז יעדער קאָנדיציע־טיפּ איז אונטער־סעקונדע נאָך דעם ערשטן װײַזונג.
י. ~1,200 טיקען פּער רענדער (1,000 באַס SDXL + 20% ControlNet קאָנדיציע־צופֿרידנקייט). אינטערגעלאָשן ניצערס באַקומען 30,000 פרייע טיקען טעגלעך — אַרום 25 קאָנדיציע־רענדערס טעגלעך אָן קאָסטן. אַנאָנימ: 2,500 טיקען/טאָג (~2 רענדערס)
יָה — דער קאָנטראָל־שטאַרקײט־ליניע (געװײנטלעכער 0.7) באַשטימט ווי סטרענגטס די אַרײַנשרײַבונג פֿילט זיך מיט דיין רעפֿערענץ. 1.0 = סטרענגטס (אַרײַנשרײַבונג זעט אויס װי אַ איבער־רעפֿערענץ פֿון דיין רעפֿערענץ). 0.4 = לײדיק (דער פֿראַגע־פֿאָרעם האָט מער פֿרײַהייט). װײַטער אַראָפּ פֿאַר שריפֿטלעכע װאַריאַציע, אױפֿצוהײלן װען װײַטער־פֿאַרבינדונג איז וויכטיק
512×512 געװײנטלעכער. SDXL סטאַנדאַרד־פֿאָרמאַטירונג — 768×1024 פּאָרטרעט, 1024×768 לײדיק, 1024×1024 קװאַט — אַלץ אַרבעט. גרעסערע אױסגאַבעס פֿאַרנוצן מער VRAM און טאַקענס; דער H200 שטיצט ביז 1024×1024 קלאָר
רעפֿערענץ בילדער ווערן באַהאַנדלט אין אַ שריט, די צושטאַנדן ווערן אײַנגעטײלט, און דערנאָך די רעפֿערענץ טעקע איז אויסגעמעקט. נאָר די פֿראַגע + דער סוף־רענדער בלײַבט אויף /account/?tab=history. ניט קײן מאָל פֿאַר דערצוּונג. /privacy/ פֿאַר די גאַנץ פּאָליטיק
ControlNet-Union SDXL ProMax איז אױפֿגעשריבן אונטער Apache 2.0 — גאָר פֿאַרלאָזלעך, אױף קעמפּערישע ניצן אױסגערעכנט. SDXL־באזירט איז OpenRAIL++. בײדע דערלױבן קעמפּערישע ניצן; די אױסגעגרײטע בילדער זײַנען אייער צו פֿאַרנומען קעמפּערישע ניצן אָן קײן רעװיזיעס
דער זעלבער מאָדעל, דער זעלבער קװאַליטעט, דער זעלבער קײן־סיגנאַל. ComfyUI און A1111 דאַרפן אַ לײדיקן GPU מיט 12+ GB VRAM און אַ סעלעקציע. מיר לײענען עס אויף אַ געװײנטלעכער אינפֿאָרמאַציע־פֿאַרבינדונג מיט אַ גײנטלעכן פֿרײַן פּאָול — ניטאײן אױסשטעלן, ניטאײן GPU נײטיק
דער ערשטער װײַז װײַזט אױס דעם יוניאָן־װײַט (~2.5 GB) אין דעם GPU קײט און װײַזט דעם SDXL־פּאַפּילין. דערוואַרט 30־60 סעקונדעס אױף דעם ערשטן פֿראַגע נאָך אַ װײַז אָדער LRU־װײַזונג. דערנאָך װײַזט אױס װײַז אונטער אַ װײַז־װײַז װײַזט אױס 4־7 סעקונדעס
יָה — POST multipart צו /v1/image/generate/ מיט מאָדעל=sdxl (אָדער מאָדעל=controlnet-union-sdxl-promax), װײַז, קאָנטראָל־בילד (טעקע), קאָנטראָל־סאָרט=<אײנער פֿון: קנײַך, פּאָזע, טיף, שריפֿט, ליניאַרט, אַנימאַציע־ליניאַרט, mlsd, העד, װײַס־רעד, נאָרמאַל, צעטיילונג, קײל>, װאָסער קאָנטראָל־שטאַרקײט (0.1-1.5). װאָסער אױטאָריטע, 10 קײט פרייע טיקען/מײַן. /api/ האָט קירל־פֿאָרמעס