ControlNet — ਇੱਕ ਟੂਲ ਵਿੱਚ 12 ਸੰਰਚਨਾ ਕਿਸਮਾਂ
ਇੱਕ ਹਵਾਲਾ ਚਿੱਤਰ ਅੱਪਲੋਡ ਕਰੋ, ਇੱਕ ਹਾਲਤ ਕਿਸਮ ਚੁਣੋ, ਇੱਕ ਪੁੱਛਗਿੱਛ ਲਿਖੋ। AI ਤੁਹਾਡੀ ਹਵਾਲਾ ਢਾਂਚਾ (ਲਾਈਨਾਂ, ਸਥਿਤੀ, ਡੂੰਘਾਈ, ਆਦਿ) ਰੱਖਦਾ ਹੈ ਅਤੇ ਕਿਸੇ ਵੀ ਸਟਾਈਲ ਵਿੱਚ ਨਵੀਂ ਸਮੱਗਰੀ ਨੂੰ ਪੇਸ਼ ਕਰਦਾ ਹੈ। ControlNet- Union SDXL ProMax - Apache 2.0, ਪੂਰੀ ਤਰ੍ਹਾਂ ਵਪਾਰਕ ਵਰਤੋਂ ਲਈ ਅਨੁਕੂਲ ਹੈ।
ਨਤੀਜਾ
ControlNet ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ
ControlNet ਤੁਹਾਨੂੰ ਇੱਕ ਰੇਂਜ ਚਿੱਤਰ ਦੀ ਢਾਂਚਾ ਨਾਲ ਚਿੱਤਰ ਬਣਾਉਣ ਲਈ ਮਜਬੂਰ ਕਰਦਾ ਹੈ, ਨਾ ਕਿ ਸਿਰਫ਼ ਪਾਠ ਪੁਆਇੰਟ ਉੱਤੇ ਭਰੋਸਾ ਕਰਨ ਲਈ। ਇੱਕ ਪ੍ਰੀ-ਪਰੋਸੈਸਰ ਤੁਹਾਡੀ ਰੇਂਜ ਪੜ੍ਹਦਾ ਹੈ ਅਤੇ ਇੱਕ ਇੱਕਲਾ ਸੰਬੰਧਿਤ ਸਿਗਨਲ ਕੱਢਦਾ ਹੈ - ਇਸ ਦੇ ਕੋਨੇ, ਇਸ ਦੀ ਡੂੰਘਾਈ ਨਕਸ਼ਾ, ਇੱਕ ਵਿਅਕਤੀ ਦਾ ਪੋਸ ਕੰਪਲੈਕਸ, ਅਤੇ ਹੋਰ। ਫਿਰ ਡਿਫਿਊਸ਼ਨ ਮਾਡਲ ਇਸ ਸਿਗਨਲ ਉੱਤੇ ਲਾਕ ਹੁੰਦਾ ਹੈ ਜਦੋਂ ਕਿ ਪੁਆਇੰਟ ਸਟਾਈਲ, ਰੰਗ, ਰੋਸ਼ਨੀ ਅਤੇ ਵਿਸ਼ਾ ਫੈਸਲਾ ਕਰਦਾ ਹੈ। ਨਤੀਜਾ ਤੁਹਾਨੂੰ ਦਿੱਤੀ ਗਈ ਸੰਰਚਨਾ ਨੂੰ ਸੰਭਾਲਦਾ ਹੈ ਪਰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਨਵਾਂ ਲੱਗਦਾ ਹੈ।
ਇਹ ਟੂਲ ControlNet-UnionSDXL ProMax (Apache 2.0) ਦੁਆਰਾ ਮੱਦਦ ਕੀਤੀ ਜਾਂਦੀ ਹੈ - ਇੱਕ ਇੱਕਲਾ ਮਾਡਲ, ਜੋ ਕਿ ਹੇਠਾਂ ਦਿੱਤੀਆਂ 12 ਸਾਰੀਆਂ ਸਥਿਤੀ ਕਿਸਮਾਂ ਨੂੰ ਸਮਝਦਾ ਹੈ, ਤਾਂ ਜੋ ਤੁਸੀਂ ਹਰ ਵਾਰ ਵੱਖਰੇ ਨੈੱਟਵਰਕ ਨੂੰ ਲੋਡ ਕੀਤੇ ਬਿਨਾਂ ਇੱਕ ਚੋਣਕਾਰ ਤੋਂ ਉਨ੍ਹਾਂ ਵਿੱਚ ਬਦਲ ਸਕਦੇ ਹੋ। ਇਹ ਪੂਰੀ ਤਰ੍ਹਾਂ ਵਪਾਰਕ ਵਰਤੋਂ ਲਈ ਅਨੁਕੂਲ ਹੈ: ਜੋ ਵੀ ਤੁਸੀਂ ਬਣਾਓ, ਰੱਖੋ, ਵੇਚੋ ਜਾਂ ਸੋਧੋ।
12 ਸ਼ਰਤਾਂ ਵਾਲੀਆਂ ਕਿਸਮਾਂ
ਠੀਕ
ਠੋਸ ਕੋਨੇ ਖੋਜ । ਤਿੱਖੇ ਆਕਾਰ ਅਤੇ ਸਾਫ਼ ਲਾਈਨਵਰਕ ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ ਹੈ ।
ਡੂੰਘਾਈ
3D ਡੂੰਘਾਈ ਨਕਸ਼ਾ । ਥਾਂ ਲੇਆਉਟ ਰੱਖਦਾ ਹੈ - ਕੀ ਨੇੜੇ ਹੈ ਅਤੇ ਕੀ ਦੂਰ ਹੈ ।
ਪੋਸ
OpenPose ਸਰੀਰਕ ਢਾਂਚਾ । ਆਕਾਰ ਦੀ ਸਥਿਤੀ ਅਤੇ ਅੰਗਾਂ ਦੀ ਸਥਿਤੀ ਲਾਕ ਕਰੋ ।
ਸਕ੍ਰਿਬਲ
ਹੱਥ ਨਾਲ ਬਣੇ ਡਰੂਡਲਸ ਨੂੰ ਪੂਰੀ ਕਲਾ ਵਿੱਚ ਬਦਲਿਆ ਗਿਆ ਹੈ।
ਸੈਗਮੈਂਟੇਸ਼ਨ
ਰੰਗ- ਕੋਡ ਖੇਤਰ ਨਕਸ਼ਾ । ਹਰੇਕ ਖੇਤਰ ਨੂੰ ਇੱਕ ਕਲਾਸ ਨਾਲ ਸਬੰਧਿਤ ਕਰੋ ।
ਸਧਾਰਨ
ਸਰਫੇਸ- ਨਾਰਮਲ ਮੈਪ । ਚੰਗੀ 3D ਸਰਫੇਸ ਸਥਿਤੀ ਅਤੇ ਬੰਬ ਰੱਖਦਾ ਹੈ ।
ਰੇਖਾ- ਚਿੱਤਰ
ਫਾਈਨ ਲਾਈਨ ਐਕਸਟਰੈਕਸ਼ਨ - ਇੰਕਿੰਗ, ਮਾਂਗਾ ਅਤੇ ਚਿੱਤਰਕਾਰੀ ਲਈ ਵਧੀਆ ਹੈ ।
ਸਾਫਟ- ਐਂਡ
ਸਹਿਜ ਸਰਹੱਦ ਖੋਜ, ਜੋ ਕਿ ਸ਼ਕਲਾਂ ਨੂੰ ਕੈਨੀ ਨਾਲੋਂ ਵਧੇਰੇ ਢਿੱਲੀ ਤਰ੍ਹਾਂ ਵੇਖਾਉਦੀ ਹੈ ।
MLSD
ਸਿੱਧੀ- ਰੇਖਾ ਰੇਖਾ- ਖੰਡ । ਆਰਕੀਟੈਕਚਰ, ਅੰਦਰੂਨੀ ਅਤੇ ਉਤਪਾਦ ਫੋਟੋ ਲਈ ਬਣਾਇਆ ਗਿਆ ।
ਟਾਈਲ
ਅੱਪਸਕੇਲਿੰਗ ਅਤੇ ਸਹਿਜ ਟੈਕਸਟਰੀ ਕੰਮ ਲਈ ਵੇਰਵਾ- ਸੰਭਾਲਣ ਵਾਲੀ ਸਥਿਤੀ ਹੈ ।
ਪੇਂਟ
ਇੱਕ ਚਿੱਤਰ ਦਾ ਸਿਰਫ਼ ਇੱਕ ਹਿੱਸਾ ਮੁੜ-ਉੱਤੇਜਾਣ ਲਈ ਮਾਸਕ-ਸੁਚੇਤ ਸਥਿਤੀ ਹੈ।
ਮੁੜ- ਪੇਂਟਿੰਗ / ਆਉਟਪੇਂਟਿੰਗ
ਇੱਕ ਕੈਨਵਸ ਨੂੰ ਫੈਲਾਓ ਜਾਂ ਆਲੇ- ਦੁਆਲੇ ਦੀ ਢਾਂਚਾ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਦੇ ਹੋਏ ਖੇਤਰਾਂ ਨੂੰ ਮੁੜ- ਪੇਂਟਿੰਗ ਕਰੋ ।
ਤਿੰਨ ਪਗ਼
- ਇੱਕ ਹਵਾਲਾ ਚਿੱਤਰ ਅੱਪਲੋਡ ਕਰੋ - ਇੱਕ ਫੋਟੋ, ਇੱਕ ਸਕੈਚ, ਇੱਕ ਸਕਰੀਨਸ਼ਾਟ, ਜਾਂ ਕੋਈ ਵੀ ਢਾਂਚਾ ਜੋ ਤੁਸੀਂ ਰੱਖਣਾ ਚਾਹੁੰਦੇ ਹੋ।
- ਚੁਣੋ ਕਿ ਕਿਹੜੀ ਕਿਸਮ ਦੀ ਸਥਿਤੀ ਤੁਹਾਨੂੰ ਪਸੰਦ ਹੈ (ਆਕਾਰ ਲਈ ਸਥਿਤੀ, ਦ੍ਰਿਸ਼ ਲਈ ਡੂੰਘਾਈ, ਸਾਫ਼ ਆਵਰਤੀ ਲਈ ਰੇਖਾ ਜਾਂ ਰੇਖਾ) ।
- ਇੱਕ ਪ੍ਰਸ਼ਨ ਲਿਖੋ, ਜੋ ਕਿ ਤੁਸੀਂ ਚਾਹੁੰਦੇ ਹੋ ਅਤੇ ਜੋ ਕਿ ਤੁਸੀਂ ਬਣਾ ਰਹੇ ਹੋ । ਹਵਾਲਾ ਨੂੰ ਹੋਰ ਨੇੜਿਓਂ ਵੇਖਣ ਲਈ ਕੰਟਰੋਲ ਦੀ ਤਾਕਤ ਵਧਾਓ, ਵਧੇਰੇ ਸਿਰਜਣਾਤਮਕ ਆਜ਼ਾਦੀ ਲਈ ਇਸ ਨੂੰ ਘੱਟ ਕਰੋ ।
ControlNet — ਇੱਕ ਟੂਲ ਵਿੱਚ 12 ਸੰਰਚਨਾ ਕਿਸਮਾਂ — FAQ
ਇੱਕ ਇੱਕਲਾ ਟੂਲ, ਜੋ ਕਿ ControlNet- Union SDXL ProMax ਮਾਡਲ ਤੋਂ ਸਭ 12 ਸੰਰਚਨਾ ਕਿਸਮਾਂ ਨੂੰ ਐਕਸਪੋਜ਼ ਕਰਦਾ ਹੈ - canny, pose, depth, scribble, lineart, anime- lineart, MLSD, HED, soft- edge, normal, segmentation, ਅਤੇ tile। ਇੱਕ ਸੰਰਚਨਾ ਕਿਸਮ ਚੁਣੋ, ਇੱਕ ਹਵਾਲਾ ਚਿੱਤਰ ਸੁੱਟੋ, ਇੱਕ ਪ੍ਰਸ਼ਨ ਲਿਖੋ, ਅਤੇ SDXL ਇੱਕ ਨਵਾਂ ਚਿੱਤਰ ਬਣਾਉਦਾ ਹੈ, ਜੋ ਕਿ ਤੁਹਾਡੇ ਹਵਾਲੇ ਦੀ ਢਾਂਚੇ ਨੂੰ ਪੂਰਾ ਕਰਦਾ ਹੈ।
img2img ਇੰਪੁੱਟ ਉੱਤੇ ਸਿੱਧਾ ਮੁੜ- ਪੇਂਟਿੰਗ ਕਰਦਾ ਹੈ - ਰੰਗ, ਕੋਨੇ, ਅਤੇ ਜ਼ੀਓਮੈਟਰੀ ਨੂੰ ਪਰੋਮਿਟ ਨਾਲ ਮਿਲਾਉਦਾ ਹੈ । ControlNet ਰੰਗ ਨੂੰ ਹਟਾ ਦਿੰਦਾ ਹੈ ਅਤੇ ਸਿਰਫ ਚੁਣੇ ਢਾਂਚੇ ਨੂੰ ਹੀ ਰੱਖਦਾ ਹੈ (ਲਾਈਨਾਂ, ਪੋਸ ਢਾਂਚਾ, ਡੂੰਘਾਈ ਨਕਸ਼ਾ, ਆਦਿ) । ਇਹ ਤੁਹਾਨੂੰ ਸਮੱਗਰੀ ਨੂੰ ਬਦਲਣ ਦਿੰਦਾ ਹੈ, ਜਦੋਂ ਕਿ ਕੰਪੋਜ਼ਿਟ ਨੂੰ ਠੋਸ ਰੱਖਦਾ ਹੈ । img2img ਨਾਲੋਂ ਬਹੁਤ ਮਜ਼ਬੂਤ ਢਾਂਚਾ ਕੰਟਰੋਲ ਹੈ ।
ਸਾਫ਼ ਲਾਈਨ ਵਰਕ ਇੰਪੁੱਟ ਲਈ Canny / lineart । ਐਨੀਮੇ- ਸਟਾਈਲ ਲਾਈਨ ਇੰਪੁੱਟ ਲਈ Anime- lineart । ਗੂੜ੍ਹੇ ਸਕੈਚ ਅਤੇ ਡੂਡਲਜ਼ ਲਈ Scribble / soft- edge / HED । ਫੋਟੋ ਤੋਂ ਸਰੀਰ ਦੀ ਸਥਿਤੀ ਦੀ ਕਾਪੀ ਕਰਨ ਲਈ Pose । ਦ੍ਰਿਸ਼ ਜ਼ੀਓਮੈਟਰੀ / 3D ਲੇਆਉਟ ਸੰਭਾਲਣ ਲਈ Depth । ਸਿੱਧੀਆਂ ਲਾਈਨਾਂ (ਆਰਕੀਟੈਕਚਰ / ਅੰਦਰੂਨੀ) ਸੰਭਾਲਣ ਲਈ MLSD । ਸਧਾਰਨ ਸਫ਼ੇ ਸਥਿਤੀ ਅਤੇ ਵਾਲੀਅਮ ਸੰਭਾਲਣ ਲਈ । ਖੇਤਰ ਸੰਭਾਲਣ ਲਈ Segmentation । ਮੌਜੂਦਾ ਚਿੱਤਰ ਦੇ ਵੇਰਵੇ ਜਾਂ ਉਚਾਈ ਵਧਾਉਣ ਲਈ Tile ।
ControlNet- Union SDXL ProMax (xinsir, Apache 2.0) ਸਭ 12 ਸੰਰਚਨਾ ਨੈੱਟਵਰਕਾਂ ਨੂੰ ਇੱਕ 2.5 GB ਭਾਰ ਵਿੱਚ ਪੈਕ ਕਰਦਾ ਹੈ । ਪੁਰਾਣੇ ਡਿਸਪਲੇਅ ਇੱਕ ਵੱਖਰਾ ~2.5 GB ਭਾਰ ਪ੍ਰਤੀ ਕਿਸਮ ਡਾਊਨਲੋਡ ਕਰਦੇ ਸਨ — canny ਅਤੇ pose ਵਿੱਚ ਬਦਲਣ ਦਾ ਮਤਲਬ ਇੱਕ ਕੋਲਡ- ਸਟਾਰਟ ਹੁੰਦਾ ਸੀ । ਯੂਨੀਅਨ ਮਾਡਲ ਇੱਕ ਵਾਰ ਲੋਡ ਹੁੰਦਾ ਹੈ ਅਤੇ ਗਰਮ ਰਹਿੰਦਾ ਹੈ, ਇਸ ਲਈ ਹਰ ਸੰਰਚਨਾ ਕਿਸਮ ਪਹਿਲੀ ਕਾਲ ਤੋਂ ਬਾਅਦ ਸਬ- ਸਕਿੰਟ ਵਿੱਚ ਹੈ ।
ਹਾਂ। ~1,200 ਟੋਕਨ ਪ੍ਰਤੀ ਰੈਂਡਰ (1,000 ਬੇਸ SDXL + 20% ਕੰਟਰੋਲਨੈੱਟ ਹਾਲਤ ਸਰਚਰ)। ਲਾਗਇਨ ਯੂਜ਼ਰ ਨੂੰ ਰੋਜ਼ਾਨਾ 30,000 ਮੁਫ਼ਤ ਟੋਕਨ ਮਿਲਦੇ ਹਨ - ਪ੍ਰਤੀ ਦਿਨ 25 ਹਾਲਤ ਰੈਂਡਰ ਮੁਫ਼ਤ ਮਿਲਦੇ ਹਨ। ਬੇਨਾਮ: 2,500 ਟੋਕਨ/ਦਿਨ (~2 ਰੈਂਡਰ)।
ਹਾਂ - ਕੰਟਰੋਲ ਤਾਕਤ ਸਲਾਈਡਰ (ਡਿਫਾਲਟ 0.7) ਇਹ ਨਿਰਧਾਰਿਤ ਕਰਦਾ ਹੈ ਕਿ ਆਉਟਪੁੱਟ ਤੁਹਾਡੇ ਹਵਾਲੇ ਦੇ ਕਿੰਨੇ ਸਖਤ ਨਾਲ ਪਾਲਣ ਕਰੇਗਾ । 1.0= ਸਖਤ (ਆਉਟਪੁੱਟ ਤੁਹਾਡੇ ਹਵਾਲੇ ਦੇ ਮੁੜ- ਰਿਡਰਿੰਗ ਵਾਂਗ ਦਿਖਾਈ ਦੇਵੇਗਾ) । 0.4= ਢਿੱਲਾ (ਪ੍ਰੋਮੋਟ ਨੂੰ ਵਧੇਰੇ ਆਜ਼ਾਦੀ ਹੈ) । ਇਸ ਨੂੰ ਸਿਰਜਣਾਤਮਕ ਤਬਦੀਲੀ ਲਈ ਹੇਠਾਂ ਰੱਖੋ, ਜਦੋਂ ਕਿ ਭਰੋਸੇਯੋਗਤਾ ਮਹੱਤਵਪੂਰਨ ਹੋਵੇ ਤਾਂ ਇਸ ਨੂੰ ਉੱਚਾ ਰੱਖੋ ।
512×512 ਡਿਫਾਲਟ ਹੈ। SDXL ਸਟੈਂਡਰਡ ਅਨੁਪਾਤ - 768×1024 ਪੋਰਟਰੇਟ, 1024×768 ਲੈਂਡਸਕੇਪ, 1024×1024 ਵਰਗ - ਸਭ ਕੰਮ ਕਰਦੇ ਹਨ। ਵੱਡੇ ਆਉਟਪੁੱਟ ਲਈ ਵਧੇਰੇ VRAM ਅਤੇ ਟੋਕਨਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ; H200 1024×1024 ਤੱਕ ਸਹਾਇਕ ਹੈ।
ਹਵਾਲਾ ਚਿੱਤਰ ਤੁਰੰਤ ਪਰੋਸੈੱਸ ਕੀਤੇ ਜਾਂਦੇ ਹਨ, ਹਾਲਤ ਨੂੰ ਬਾਹਰ ਕੱਢਿਆ ਜਾਂਦਾ ਹੈ, ਫਿਰ ਹਵਾਲਾ ਫਾਇਲ ਹਟਾ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ । ਸਿਰਫ ਪ੍ਰਸ਼ਨ + ਅੰਤਮ ਰੈਂਡਰ ਹੀ /account/?tab=history ਉੱਤੇ ਰਹਿੰਦਾ ਹੈ । ਟਰੇਨਿੰਗ ਲਈ ਕਦੇ ਨਹੀਂ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ । ਪੂਰੀ ਪਾਲਸੀ ਲਈ /privacy/ ਵੇਖੋ ।
ControlNet- Union SDXL ProMax ਨੂੰ Apache 2.0ਅਧੀਨ ਜਾਰੀ ਕੀਤਾ ਗਿਆ ਹੈ - ਪੂਰੀ ਤਰ੍ਹਾਂ ਮਨਜ਼ੂਰ, ਵਪਾਰਕ ਵਰਤੋਂ ਸਮੇਤ। SDXL ਬੇਸ OpenRAIL++ ਹੈ। ਦੋਵੇਂ ਵਪਾਰਕ ਵਰਤੋਂ ਲਈ ਸਹਾਇਕ ਹਨ; ਤੁਹਾਡੇ ਬਣਾਏ ਚਿੱਤਰ ਤੁਹਾਡੇ ਵਪਾਰਕ ਵਰਤੋਂ ਲਈ ਹਨ, ਕੋਈ ਰਿਆਇਤ ਨਹੀਂ ਹੈ।
ਇੱਕੋ ਮਾਡਲ, ਇੱਕੋ ਕੁਆਲਟੀ, ਇੱਕੋ ਹਾਲਤ ਸਿਗਨਲ। ComfyUI ਅਤੇ A1111 ਲਈ 12+ GB VRAM ਅਤੇ ਸਥਾਪਨਾ ਨਾਲ ਇੱਕ ਲੋਕਲ GPU ਦੀ ਲੋੜ ਹੈ। ਅਸੀਂ ਇਸ ਨੂੰ ਇੱਕ ਮੁਫਤ ਪੁਲ ਨਾਲ ਸਾਂਝੇ ਇੰਫਰਾਸਟਰਕਚਰ ਉੱਤੇ ਚਲਾ ਰਹੇ ਹਾਂ - ਕੋਈ ਇੰਸਟਾਲ ਨਹੀਂ, ਕੋਈ GPU ਲੋੜੀਦਾ ਨਹੀਂ ਹੈ।
ਪਹਿਲੀ ਕਾਲ ਯੂਨੀਅਨ ਭਾਰ (~2.5 GB) ਨੂੰ GPU ਕੈਸ਼ ਵਿੱਚ ਡਾਊਨਲੋਡ ਕਰਦੀ ਹੈ ਅਤੇ SDXL ਪਾਈਪਲਾਈਨ ਨੂੰ ਗਰਮ ਕਰਦੀ ਹੈ । ਇੱਕ ਡਿਪੋਜ਼ਿਟ ਜਾਂ LRU ਹਟਾਉਣ ਤੋਂ ਬਾਅਦ ਪਹਿਲੀ ਬੇਨਤੀ ਉੱਤੇ 30-60 ਸਕਿੰਟ ਦੀ ਉਡੀਕ ਕਰੋ । ਆਮ ਲੋਡ ਹੇਠ ਬਾਅਦ ਦੀਆਂ ਕਾਲਾਂ 4-7 ਸਕਿੰਟ ਵਿੱਚ ਵਾਪਸ ਆ ਜਾਂਦੀਆਂ ਹਨ ।
ਹਾਂ — /v1/image/generate/ ਨੂੰ multipart ਨਾਲ POST ਕਰੋ, ਜਿਸ ਵਿੱਚ model=sdxl (ਜਾਂ model=controlnet-union-sdxl-promax), ਪ੍ਰਮਾਣਕ, control_image (ਫਾਇਲ), control_type=<one of: canny, pose, depth, scribble, lineart, anime-lineart, mlsd, hed, soft-edge, normal, segmentation, tile>, ਚੋਣਵੀਂ control_strength (0.1-1.5) ਹੈ। ਧਾਰਕ ਅਧਿਕਾਰ, 10K ਮੁਫਤ ਟੋਕਨ/ਮਹੀਨਾ। /api/ ਵਿੱਚ curl ਉਦਾਹਰਣਾਂ ਹਨ।