ControlNet — 12 loại điều kiện trong một công cụ
Tải lên một hình ảnh tham chiếu, chọn một kiểu điều kiện, viết một lời nhắc. AI giữ cấu trúc tham chiếu của bạn (đường, tư thế, độ sâu, v.v.) và vẽ nội dung mới theo bất kỳ phong cách nào. Được hỗ trợ bởi ControlNet- Union SDXL ProMax — Apache 2. 0, hoàn toàn thân thiện với thương mại.
Kết quả
ControlNet hoạt động như thế nào
ControlNet cho phép bạn điều khiển việc tạo hình ảnh với cấu trúc của một hình ảnh tham chiếu thay vì chỉ dựa vào lời nhắc văn bản. Một bộ xử lý trước đọc tham chiếu của bạn và trích ra một tín hiệu điều kiện đơn — các cạnh, bản đồ độ sâu, bộ xương của một người, v. v. Sau đó mô hình phân tán được khóa vào tín hiệu đó trong khi lời nhắc quyết định kiểu dáng, màu sắc, ánh sáng và chủ đề. Kết quả giữ chính xác cấu trúc bạn đã nhập nhưng trông như một thứ gì đó hoàn toàn mới.
Công cụ này được hỗ trợ bởi ControlNet-UnionSDXL ProMax (Apache 2.0) — một mô hình duy nhất hiểu tất cả 12 kiểu điều kiện dưới đây, vì vậy bạn có thể chuyển giữa chúng từ một chọn mà không cần tải mạng khác mỗi lần. Nó hoàn toàn thân thiện với thương mại: giữ, bán, hoặc sửa đổi bất cứ thứ gì bạn tạo ra.
12 loại điều kiện
Thông minh
Phát hiện viền sắc nét. Tốt nhất cho việc giữ các đường nét sắc nét và đường nét sạch sẽ.
Độ sâu
Bản đồ độ sâu 3D. Giữ bản đồ không gian — những gì gần và những gì xa.
Đứng
Xương cốt cơ thể OpenPose. Chốt vị trí tư thế và chi của nhân vật.
Sơ đồ
Những vẽ tay lỏng lẻo biến thành nghệ thuật hoàn chỉnh.
Phân đoạn
Bản đồ vùng mã hóa màu. Chỉ định mỗi khu vực của cảnh cho một lớp.
Thông thường
Bản đồ bề mặt- bình thường. Bảo tồn định hướng bề mặt 3D và các đụng độ.
Hình học
Sự chiết xuất đường mỏng — lý tưởng cho in mực, manga, và minh họa.
Mềm
Kiểm tra ranh giới nhẹ nhàng theo hình dạng lỏng hơn Canny.
MLSD
Được làm cho kiến trúc, nội thất và sản phẩm.
Đáy
Bảo tồn chi tiết điều kiện cho tăng kích thước và kết cấu không bị rạn nứt.
Sơn
Điều kiện nhận thức mặt nạ để tái tạo chỉ một phần của một hình ảnh.
Sơn lại / vẽ ngoài
Mở rộng một tấm vải hoặc vẽ lại các vùng trong khi tôn trọng cấu trúc xung quanh.
Ba bước
- Tải lên một hình ảnh tham khảo — một bức ảnh, một bản phác thảo, một màn hình hiển thị, bất cứ thứ gì với cấu trúc bạn muốn giữ.
- Chọn kiểu điều kiện phù hợp với điều bạn quan tâm (tựa cho một hình, độ sâu cho một cảnh, canny hoặc lineart cho các đường viền sạch).
- Viết một lời mời mô tả vẻ ngoài bạn muốn và tạo ra. Tăng cường điều khiển để theo dõi tham chiếu chặt chẽ hơn, giảm nó để có nhiều tự do sáng tạo hơn.
ControlNet — 12 loại điều kiện trong một công cụ — FAQ
Một công cụ duy nhất cho thấy tất cả 12 kiểu điều kiện từ mô hình ControlNet- Union SDXL ProMax — canny, pose, depth, scribble, lineart, anime- lineart, MLSD, HED, soft- edge, normal, segmentation, và tile. Chọn một kiểu điều kiện, thả một hình ảnh tham chiếu, viết một lời nhắc, và SDXL sẽ vẽ một hình ảnh mới theo cấu trúc của hình ảnh tham chiếu của bạn.
img2img vẽ lại trực tiếp trên đầu vào — màu sắc, cạnh, VÀ hình học trộn lẫn với lời nhắc. ControlNet ném đi màu sắc và giữ lại chỉ tín hiệu cấu trúc đã chọn (đường, khung hình, bản đồ độ sâu, v. v.). Điều này cho phép bạn thay đổi nội dung một cách triệt để trong khi giữ cấu trúc chắc chắn. Kiểm soát cấu trúc mạnh hơn nhiều so với img2img.
Canny / lineart cho nhập đường nét sạch. Anime- lineart cho nhập đường nét kiểu anime. Scribble / soft- edge / HED cho phác thảo và vẽ thô. Pose để sao chép vị trí cơ thể từ một bức ảnh. Depth để giữ hình học cảnh / bố trí 3D. MLSD để giữ các đường thẳng (kiến trúc / nội thất). Normal để giữ định hướng bề mặt và thể tích. Segmentation để giữ các vùng. Tile để tinh chỉnh hoặc tăng kích thước các biến thể của một hình ảnh hiện có.
ControlNet-Union SDXL ProMax (xinsir, Apache 2.0) gói tất cả 12 mạng điều kiện vào một trọng lượng 2.5 GB. Các triển khai cũ tải xuống một trọng lượng ~2.5 GB riêng biệt cho mỗi loại — chuyển đổi giữa canny và pose có nghĩa là khởi động lạnh. Mô hình liên minh tải một lần và giữ ấm, vì vậy mỗi loại điều kiện là dưới giây sau cuộc gọi đầu tiên.
Có. ~1,200 token mỗi render (1,000 base SDXL + 20% phụ phí điều kiện ControlNet). Người dùng đăng nhập nhận 30,000 token miễn phí mỗi ngày — khoảng 25 render điều kiện mỗi ngày miễn phí. Nặc danh: 2,500 token/ngày (~2 render).
Có — thanh trượt Cường độ điều khiển (mặc định là 0. 7) xác định kết quả theo tham chiếu của bạn nghiêm ngặt như thế nào. 1. 0 = nghiêm ngặt (kết quả trông giống như một sự vẽ lại của tham chiếu của bạn). 0. 4 = lỏng lẻo (lời nhắc có nhiều tự do hơn). Giảm nó xuống cho sự biến đổi sáng tạo, tăng nó lên khi độ trung thực quan trọng.
Mặc định là 512×512. Tỷ lệ tiêu chuẩn SDXL — 768×1024 thẳng đứng, 1024×768 ngang, 1024×1024 vuông — tất cả đều hoạt động. Các kết quả lớn hơn tiêu thụ nhiều VRAM và token hơn; H200 hỗ trợ lên đến 1024×1024 dễ dàng.
Các hình ảnh tham chiếu được xử lý ngay lập tức, điều kiện được trích xuất, sau đó tập tin tham chiếu được xóa. Chỉ có lời nhắc + hình vẽ cuối cùng vẫn còn trong /account/?tab=history. Không bao giờ được dùng cho huấn luyện. /privacy/ cho chính sách đầy đủ.
ControlNet- Union SDXL ProMax được phát hành dưới Apache 2. 0 — hoàn toàn cho phép, bao gồm cả sử dụng thương mại. Cơ sở SDXL là OpenRAIL++. Cả hai đều cho phép sử dụng thương mại; hình ảnh tạo ra của bạn là của bạn để sử dụng thương mại mà không có bản quyền.
Cùng mô hình, cùng chất lượng, cùng tín hiệu điều kiện. ComfyUI và A1111 yêu cầu một GPU cục bộ với 12+ GB VRAM và cài đặt. Chúng tôi chạy nó trên cơ sở hạ tầng chia sẻ với một nguồn miễn phí rộng rãi — không cần cài đặt, không cần GPU.
Tên gọi đầu tiên tải về trọng lượng Union (~2. 5 GB) vào bộ nhớ tạm GPU và làm nóng đường ống SDXL. Chờ 30- 60 giây cho yêu cầu đầu tiên sau khi triển khai hoặc xóa LRU. Các cuộc gọi tiếp theo dưới tải trọng điển hình sẽ quay lại trong 4- 7 giây.
Có — POST multipart to /v1/image/generate/ with model=sdxl (or model=controlnet-union-sdxl-promax), prompt, control_image (file), control_type=<one of: canny, pose, depth, scribble, lineart, anime-lineart, mlsd, hed, soft-edge, normal, segmentation, tile>, optional control_strength (0.1-1.5).