ControlNet — 12 ชนิดของการปรับแต่งในเครื่องมือเดียว
โหลดรูปภาพที่อ้างถึง เลือกประเภทของการปรับแต่ง เขียนคำสั่ง ระบบ AI จะเก็บโครงสร้างของภาพที่อ้างถึง (เส้น รูปร่าง ความลึก ฯลฯ) และแสดงเนื้อหาใหม่ในสไตล์ใดๆก็ได้ รองรับโดย ControlNet- Union SDXL ProMax — Apache 2.0, เหมาะสำหรับใช้ในเชิงพาณิชย์
ผลลัพธ์
ControlNet ทำงานยังไง
ControlNet ช่วยให้คุณสามารถควบคุมการสร้างภาพด้วยโครงสร้างของภาพที่อ้างอิงได้ แทนที่จะพึ่งพาคำสั่งข้อความเพียงอย่างเดียว ตัวประมวลผลก่อนหน้าจะอ่านคำสั่งของคุณและดึงสัญญาณสภาพแวดล้อมออกมา เช่น ขอบของภาพ ภาพที่แสดงความลึกของภาพ รูปร่างของผู้คน และอื่นๆ อีกมากมาย จากนั้นโมเดลการกระจายจะถูกล็อคไว้ที่สัญญาณนั้น ขณะที่คำสั่งจะตัดสินใจเกี่ยวกับสไตล์ สี แสง และหัวข้อ ผลลัพธ์จะเก็บไว้ในรูปแบบที่คุณได้ป้อนไว้ แต่ดูเหมือนจะเป็นอะไรที่ใหม่โดยสิ้นเชิง
เครื่องมือนี้ได้รับการสนับสนุนโดย ControlNet-UnionSDXL ProMax (Apache 2.0) - โมเดลเดียวที่เข้าใจชนิดของสภาพแวดล้อมทั้งหมด 12 ชนิดที่อยู่ด้านล่างนี้ ดังนั้นคุณสามารถเปลี่ยนระหว่างพวกเขาจากตัวเลือกหนึ่งโดยไม่ต้องโหลดเครือข่ายที่แตกต่างกันทุกครั้ง มันเป็นมิตรกับการใช้งานทางธุรกิจอย่างเต็มที่: เก็บไว้ ขาย หรือแก้ไขสิ่งที่คุณสร้างขึ้น
12 ชนิดของสภาพแวดล้อม
ฉลาด
การตรวจจับขอบที่คมชัด เหมาะกับการเก็บรูปทรงที่คมชัดและงานเขียนที่สะอาด
ความลึก
แผนที่ความลึก3มิติ เก็บรูปแบบของพื้นที่ไว้ - สิ่งที่อยู่ใกล้และอะไรที่อยู่ไกล
รูปภาพ
เปิดโครงร่าง โครงสร้างของร่างกาย ล็อคตำแหน่งของรูปร่างและตำแหน่งของแขนขา
เขียนลวดลาย
วาดรูปด้วยมือ จนกลายเป็นงานศิลปะ
ส่วน
แผนที่เขตที่ถูกจัดเรียงตามสี จัดให้แต่ละเขตของฉากเป็นคลาส
ปกติ
แผนที่ปกติของพื้นผิว รักษาทิศทางและจุดแตกต่างของพื้นผิว3มิติไว้ได้
ภาพเส้น
การดึงเส้นบางๆออกมา — เหมาะสำหรับเขียนลายนิ้วมือ, ภาพการ์ตูน, และภาพวาด
ขอบเรียบ
การตรวจจับขอบเขตที่อ่อนโยน ตามรูปร่างที่กว้างกว่าแคนนี่
MLSD
ส่วนตรงๆ ทำมาเพื่อสถาปัตยกรรม ตกแต่งภายใน และภาพผลิตภัณฑ์
วาดรูป
รายละเอียด-การอนุรักษ์สภาพแวดล้อมสำหรับขยายขนาดและงานผิวหนังที่ไม่ซับซ้อน
วาดภาพ
ปรับแต่งมาสก์ให้เกิดภาพใหม่ได้แค่บางส่วน
วาดใหม่ / วาดออก
ขยายพื้นที่ใช้วาดหรือวาดใหม่ในขณะที่ยังคงรักษาโครงสร้างรอบๆไว้
สามก้าว
- โหลดภาพที่ใช้อ้างอิง — ภาพถ่าย, ภาพวาด, ภาพหน้าจอ, อะไรก็ได้ที่มีโครงสร้างที่คุณต้องการเก็บไว้
- เลือกประเภทการปรับแต่งที่ตรงกับสิ่งที่คุณต้องการ (โพสต์สำหรับรูปร่าง, ความลึกสำหรับฉาก, เรียบง่ายหรือเรียบง่ายสำหรับขอบเขตที่สะอาด)
- เขียนคำสั่งที่อธิบายรูปลักษณ์ที่คุณต้องการและสร้างขึ้นมา ปรับระดับความเข้มของการควบคุมให้สูงขึ้นเพื่อติดตามการอ้างอิงให้แน่นขึ้น ปรับระดับให้ต่ำลงเพื่ออิสระในการสร้างสรรค์มากขึ้น
ControlNet — 12 ชนิดของการปรับแต่งในเครื่องมือเดียว — FAQ
เครื่องมือเดียวที่เปิดเผยชนิดของสภาพแวดล้อมทั้งหมด 12 ชนิดจากโมเดล ControlNet- Union SDXL ProMax - canny, pose, depth, scribble, lineart, anime- lineart, MLSD, HED, soft- edge, normal, segmentation และ tile เลือกชนิดของสภาพแวดล้อม, ทิ้งภาพอ้างอิง, เขียนคำสั่ง และ SDXL จะแสดงภาพใหม่ที่ทำตามโครงสร้างของภาพอ้างอิงของคุณ
img2img วาดภาพใหม่บนข้อมูลที่เข้าโดยตรง - สี, ขอบ และ รูปทรงเรขาคณิต ผสมกับคำสั่ง ControlNet ทิ้งสีออกไป และเก็บเพียงโครงสร้างสัญญาณที่เลือกไว้ (เส้น, โครงสร้างโพสต์, แผนที่ความลึก, ฯลฯ) มันจะให้คุณสามารถสลับเนื้อหาได้อย่างรวดเร็วในขณะที่ยังคงรักษาการประกอบภาพไว้ได้อย่างแข็งแรง ควบคุมโครงสร้างที่แข็งแกร่งกว่า img2img มาก
Canny / lineart สำหรับนำเข้าเส้นงานที่สะอาด Anime- lineart สำหรับนำเข้าเส้นงานแบบ Anime Scribble / soft- edge / HED สำหรับวาดภาพร่างและวาดภาพร่าง รูปร่างเพื่อคัดลอกตำแหน่งของร่างกายจากภาพถ่าย ความลึกเพื่อรักษารูปทรงเรขาคณิตของฉาก / จัดวาง3มิติ MLSD เพื่อรักษาเส้นตรง (สถาปัตยกรรม/ ภายใน) ปกติ เพื่อรักษาทิศทางและปริมาณของพื้นผิว การแยกส่วนเพื่อรักษาพื้นที่ วาดไทล์ เพื่อปรับแต่งหรือปรับขนาดรูปภาพที่มีอยู่
ControlNet- Union SDXL ProMax (xinsir, Apache 2.0) จัดเก็บเครือข่ายสภาพแวดล้อมทั้งหมด 12 เครือข่ายลงในน้ำหนัก 2.5 GB ตัวเดียว ระบบที่ใช้มาก่อนจะดาวน์โหลดน้ำหนัก ~2.5 GB ต่อประเภท - การเปลี่ยนระหว่าง canny และ pose หมายถึงการเริ่มต้นที่เย็น โมเดล union โหลดครั้งเดียวและคงความร้อนไว้ ดังนั้น ทุกประเภทสภาพแวดล้อมจะอยู่ในช่วงไม่ถึงวินาทีหลังจากการเรียกครั้งแรก
ใช่ ~1,200 โต๊กเกอร์ต่อการแสดงผล (1,000 ฐาน SDXL + 20% ค่าปรับการแสดงผลตามเงื่อนไขของ ControlNet) ผู้ใช้ที่เข้าใช้งานจะได้รับ 30,000 โต๊กเกอร์ฟรีทุกวัน — ประมาณ 25 การแสดงผลตามเงื่อนไขต่อวันโดยไม่มีค่าใช้จ่ายใดๆ นิรนาม: 2,500 โต๊กเกอร์/วัน (~2 การแสดงผล)
ใช่ - ตัวเลื่อนความเข้มข้นการควบคุม (ค่าปริยาย 0. 7) ใช้กำหนดว่าผลลัพธ์จะทำตามการอ้างอิงของคุณอย่างเคร่งครัดแค่ไหน 1.0=เข้มงวด (ผลลัพธ์จะดูเหมือนการแสดงผลใหม่ของการอ้างอิงของคุณ) 0.4=ผ่อนคลาย (คำสั่งจะมีอิสระมากขึ้น) ลดค่าลงเพื่อสร้างสรรค์ความแตกต่าง เพิ่มค่าขึ้นเมื่อความถูกต้องเป็นสิ่งสำคัญ
ค่าปริยายคือ 512×512 อัตราส่วนมาตรฐานของ SDXL - 768×1024 แนวตั้ง, 1024×768 แนวนอน, 1024×1024 รูปสี่เหลี่ยม - ใช้ได้ทุกรูปแบบ ขนาดที่ใหญ่กว่าจะใช้ VRAM และ Token มากขึ้น H200 รองรับได้สูงสุดถึง 1024×1024 ได้อย่างสะดวกสบาย
ภาพที่อ้างถึงจะถูกประมวลผลทันที หลังจากนั้นจะดึงข้อมูลที่เกี่ยวข้องออกมา จากนั้นแฟ้มที่อ้างถึงจะถูกลบออกไป มีเพียงคำสั่ง + ภาพที่แสดงผลในตอนท้ายเท่านั้นที่ยังคงอยู่ใน / account /? tab=history ไม่เคยใช้ในการฝึก ใช้ / privacy / สำหรับนโยบายที่ครบถ้วน
ControlNet- Union SDXL ProMax ถูกปล่อยออกมาภายใต้ Apache 2.0 — อนุญาตให้ใช้ได้เต็มที่ รวมถึงการใช้งานเพื่อการค้า พื้นฐานของ SDXL คือ OpenRAIL++ ทั้งสองตัวอนุญาตให้ใช้เพื่อการค้า ภาพที่สร้างขึ้นของคุณเป็นของคุณเอง ใช้เพื่อการค้าโดยไม่มีค่าลิขสิทธิ์
รุ่นเดียวกัน คุณภาพเดียวกัน สัญญาณปรับสภาพเดียวกัน ComfyUI และ A1111 ต้องการ GPU ภายในเครื่อง ที่มี VRAM มากกว่า 12 GB และมีการตั้งค่า เราใช้โครงสร้างพื้นฐานที่แชร์กันได้ ไม่มีค่าติดตั้ง ไม่มี GPU ที่จำเป็น
การเรียกครั้งแรกจะดาวน์โหลดความหนักของ Union (~2.5GB) ไปยังแคชของ GPU และทำการอบอุณหภูมิท่อ SDXL รอ 30-60 วินาที หลังจากการเรียกครั้งแรกหลังจากการจัดวางหรือการขับไล่ LRU การเรียกครั้งต่อไปภายใต้ความหนักปกติจะกลับมาใน 4-7 วินาที
ใช่ — POST multipart to /v1/image/generate/ with model=sdxl (or model=controlnet-union-sdxl-promax), prompt, control_image (file), control_type=<one of: canny, pose, depth, scribble, lineart, anime-lineart, mlsd, hed, soft-edge, normal, segmentation, tile>, optional control_strength (0.1-1.5). Bearer auth, 10K free tokens/month. /api/ has curl examples.