Lance គឺជាម៉ូដែល multimodal ដើមរបស់ ByteDance 2025 - ប៉ារ៉ាម៉ែត្រសកម្ម 3B នៅក្រោម Apache 2.0 ។ សំណុំទំងន់មួយគ្របដណ្តប់លើភារកិច្ចបួន: អត្ថបទ→រូបភាព (768 × 768), កែសម្រួលរូបភាព (768 × 768), អត្ថបទ→វីដេអូ (480p, រហូតដល់ 121 ស៊ុម ≈5វិនាទី) និងរូបភាព + ការយល់ដឹងអំពីវីដេអូ (VQA, captioning) ។ ស្ថាបនាឡើងលើ Qwen- derived LLM backbone ជាមួយ Wan-Video VAE និង Qwen.5-VL ViT ។ រៀបចំដោយខ្លួនឯងនៅលើ Free.ai H200 ដោយគ្មានអ្នកផ្គត់ផ្គង់ឡើងលើគ្មានការសម្គាល់ API និងគ្មានថ្លៃសេវាក្នុងមួយការហៅក្រៅពីតុល្យភាពតូចតាចរបស់អ្នក។

ស្ទួនបើកភាគច្រើនជ្រើសអ្នកជំនាញល្អបំផុតសម្រាប់ផ្ទៃនីមួយៗ - SDXL ឬ FLUX សម្រាប់បង្កើតរូបភាពដើម, Qwen-Image-Edit សម្រាប់កែសម្រួល, Wan 2.2 សម្រាប់វីដេអូ, Qwen.5-VL សម្រាប់ហេតុផលភាសាទស្សនៈ។ Lance ជួញដូរគុណភាពមួយផ្នែកក្នុងមួយភារកិច្ចសម្រាប់ភាពឆបគ្នានៃភារកិច្ចឆ្លងកាត់: ការតំណាងខាងក្នុងដូចគ្នាផ្តល់ចំណីរាល់លទ្ធផលដូច្នេះរូបភាពដែលអ្នកបង្កើតហើយបន្ទាប់មកកែសម្រួលរក្សារចនាប័ទ្មរបស់ខ្លួនហើយ VQA ម៉ូដែលផ្តល់អំពីវីដេអូដែលសមនឹងម៉ូដែលភាសានៅក្នុងចំណុចត្រួតពិនិត្យដូចគ្នា។ មានប្រយោជន៍សម្រាប់ស្រាវជ្រាវនិងបង្ហាញដែលទទួលបានអត្ថប្រយោជន៍ពីម៉ូដែលដែលមិនប្រែប្រួលមួយជំនួសឱ្យបំពង់បួន។

ជ្រើស Lance នៅពេល: អ្នកចង់បានរចនាប័ទ្មដែលមិនប្រែប្រួលនៅលើរូបភាព + កែសម្រួល + វីដេអូពីម៉ូដែលមួយអ្នកកំពុងបង្កើតគំរូបំពង់ការងារច្រើននិងមុំ "ម៉ូដែលមួយ" ឬអ្នកត្រូវការអាជ្ញាប័ណ្ណអនុញ្ញាតលើលំហូរការងាររួមបញ្ចូលគ្នា។ ជ្រើសអ្នកជំនាញនៅពេល: អ្នកចង់បានរូបភាពដើមដែលមានគុណភាពខ្ពស់បំផុត (FLUX.2 Klein > Lance នៅ> 768²), វីដេអូដែលមានគុណភាពខ្ពស់បំផុត / ខ្ពស់បំផុត (Wan 2.2 TI2V-5B ឬ HunyuanVideo > Lance នៅ> 480p) ឬ VQA រហ័សបំផុតនៅក្នុងការជជែក (Qwen.5-VL គឺតែងតែក្តៅនៅលើ H200 Lance ត្រូវផ្ទុកត្រជាក់) ។

អត្ថបទ→រូបភាព និង រូបភាព-កែសម្រួល: 5,000 រូបិយប័ណ្ណ (ផ្គូផ្គង FLUX-ថ្នាក់រូបភាព gen) ។ អត្ថបទ→វីដេអូ: 15,000 រូបិយប័ណ្ណ (ផ្គូផ្គង CogVideoX / Wan 5B ថ្នាក់) ។ រូបភាព+វីដេអូ VQA: 1,000 រូបិយប័ណ្ណ ។ តម្លៃខ្ពស់ជាង vs SDXL (1,000) ឆ្លុះបញ្ចាំងពីការផ្ទុកត្រជាក់ធ្ងន់ធ្ងររបស់ Lance — ការហៅរាល់ការដកហូតការនៅសល់នៃកងទ័ពត្រជាក់និងផ្ទុកឡើងវិញ 40 GB នៃទំងន់ដែលបន្ថែម 25-40 s នៅលើកំពូលនៃការសន្និដ្ឋានដោយខ្លួនឯង។ យើង កំពុង បង់ ថ្លៃ ពេលវេលា GPU នាឡិកាជញ្ជាំង សរុប មិន មែន គ្រាន់តែ ការសន្និដ្ឋាន ។

បន្ទាប់ពីផ្ទុកត្រជាក់ (~ 25-40 s): រូបភាពបង្កើត ~ 12-20 s, កែសម្រួលរូបភាព ~ 15-25 s, អត្ថបទ→វីដេអូ ~ 60-180 s (អាស្រ័យលើ num_frames), VQA ~ 3-8 s ។ រាល់ការហៅទូរស័ព្ទ Lance ផ្ទុកម៉ូដែលត្រជាក់ព្រោះវាមិនអាចរស់នៅជាមួយគ្នាជាមួយអ្នកផ្សេងទៀតនៃកងទ័ពត្រជាក់នៅលើ H200 ដូច្នេះការពន្យារពេលផ្ទុកត្រជាក់គឺជាផ្នែកមួយនៃការហៅទាំងអស់មិនមែនគ្រាន់តែជាលើកដំបូងទេ។

ការបង្កើតរូបភាពនិងកែសម្រួលរូបភាពត្រូវបានជួសជុលនៅ 768 × 768. ការបង្កើតវីដេអូត្រូវបានជួសជុលនៅ 480p (ជាទូទៅ 480 × 848 ផ្ទៃខាងក្រោយ) និងបានកំណត់នៅ 121 ស៊ុម (~5វិនាទីនៅ 24 fps). ទាំងនេះគឺជាការវិភាគទានដែល Lance ត្រូវបានបណ្តុះបណ្តាលលើ; ជំរុញខ្ពស់ត្រូវការការបង្កើនល្បឿនតាមរយៈម៉ូដែលដាច់ដោយឡែក (ព្យាយាម / image / upscaler / សម្រាប់រូបភាពឬ / video / upscaler / សម្រាប់វីដេអូ) ។

Janus (DeepSeek) និង Show-o ចែករំលែកការយល់ដឹងនិងបង្កើតទៅជាក្បាលដាច់ដោយឡែកនៅលើឆ្អឹងខ្នងដែលចែករំលែក; Lance គឺមានភាពរឹងមាំជាងមុន - សំណុំមួយនៃក្បាលបង្កើត + ការយល់ដឹងជាមួយតួនាទីជាក់លាក់។ Emu3 (BAAI) ធ្វើជាតួនាទីគ្រប់យ៉ាងដូចជាតួនាទីដាច់ដោយឡែករួមទាំងភីកសែលដែលផ្តល់ឱ្យវានូវការបង្កើត autoregressive ស្អាតជាងមុនប៉ុន្តែគុណភាពទាបជាងការគណនាថេរ។ កំពស់របស់ Lance គឺការគ្របដណ្តប់ការងារបួននៅក្នុង 3B params សកម្មបន្ថែមពីលើ VAE ដែលទទួលបានពី Wan ដែលគ្រប់គ្រងវីដេអូដោយធម្មជាតិ (Janus និង Show-o គឺមានតែរូបភាពប៉ុណ្ណោះ) ។

Apache 2.0 — ទាំងទំងន់ (huggingface.co/bytedance-research/Lance) និង repo GitHub (github.com/bytedance/Lance) ។ គ្មានការកំណត់តំបន់, គ្មាន MAU cap, គ្មានអ្នកជិះមិនរកស៊ី, គ្មានការស្រាវជ្រាវតែមួយគត់ clause ។ លទ្ធផលគឺរបស់អ្នកដើម្បីប្រើពាណិជ្ជកម្មដោយគ្មានការទាមទារពន្ធឬការផ្ទេរភាពខុសគ្នាពីអត្ថបទអាជ្ញាប័ណ្ណ Apache ស្តង់ដារ 2.0 ។

40 GB យ៉ាងហោចណាស់ក្នុងមួយ ByteDance's README ។ 3B params សកម្មគឺបំភាន់ - ពេញលេញ Qwen LLM + Wan VAE + Qwen.5-VL ViT ទាំងអស់អង្គុយនៅក្នុងអង្គចងចាំជាមួយគ្នា។ ដើម្បីរៀបចំខ្លួនអ្នកអ្នកនឹងត្រូវការ A100 80 GB មួយ A6000 48 GB ឬ H100 / H200 យ៉ាងហោចណាស់ 40 GB ឥតគិតថ្លៃ។ យើងរត់វានៅលើ H200 របស់យើង (141 GB សរុប) ប៉ុន្តែវានៅតែដកម៉ូដែលដែលបានផ្ទុកផ្សេងទៀតក្នុងមួយការហៅព្រោះវាជាគ្រាប់បែកតែមួយគត់ធ្ងន់បំផុតនៅលើប្រអប់។

បាទ - POST JSON ឬ multipart ទៅ / v1 / multimodal / ចាប់ផ្តើម / នៅលើ api.free.ai ជាមួយ {ភារកិច្ច: "t2i" | "រូបភាពកែសម្រួល" | "t2v" | "vqa", សំណួរ: "...", រូបភាព: <ផ្ទុកឡើង> ឬ image_url: "/ static/outputs/..."} ។ ម្ចាស់ការអនុញ្ញាតតាមរយៈកូនសោអ្នកអភិវឌ្ឍន៍ API ។ ចម្លើយរួមមាន job_id, URL លទ្ធផលនិង share_token ។ / api / មានឧទាហរណ៍ curl ក្នុងមួយភារកិច្ច។

យើងសម្គាល់ការសាកល្បង Lance ដោយសារតែការពន្យារពេលផ្ទុកត្រជាក់មានន័យថាវាមិនសមនឹងចរាចរណ៍ដែលមានកម្រិតខ្ពស់ទេ - រាល់ការហៅទូរស័ព្ទទាំងអស់ដកហូតនាវាក្តៅនិងផ្ទុកឡើងវិញ។ យើងអាចបន្ថែមជួរ "Lance ក្តៅ" នៅពេលក្រោយប្រសិនបើការប្រើប្រាស់សមហេតុផលដើម្បីឧទ្ទិសរន្ធមួយឬយើងអាចបន្ថែម H200 លើកទីពីរជាពិសេសសម្រាប់ម៉ូដែលរួមបញ្ចូលគ្នា។ ឥឡូវនេះវាមាននៅលើសេដ្ឋកិច្ចតូកុងដូចគ្នានឹងម៉ូដែលដែលរៀបចំដោយខ្លួនឯងរបស់ Free.ai ផ្សេងទៀតដោយគ្មានការបន្ថែមថ្លៃបន្ថែមទៀតគ្រាន់តែចំណាយលើតូកុងខ្ពស់ជាងការហៅដែលឆ្លុះបញ្ចាំងពីពេលវេលា GPU នាឡិកាជញ្ជាំង។

រូបភាពដែលបានផ្ទុកឡើងសម្រាប់កែសម្រួលរូបភាពនិង VQA ត្រូវបានលុបភ្លាមៗបន្ទាប់ពីភារកិច្ចត្រូវបានបញ្ចប់។ លទ្ធផលដែលបានបង្កើតបានអង្គុយនៅលើ CDN របស់យើងសម្រាប់ 24 ម៉ោង (7 ថ្ងៃសម្រាប់អ្នកប្រើដែលបានបង់ប្រាក់) ដូច្នេះអ្នកអាចទាញយកឡើងវិញពី /account/?tab=history ។ គ្មានអ្វីត្រូវបានចែករំលែកជាមួយ ByteDance — ទំងន់រត់ជាមូលដ្ឋាននៅលើផ្នែករឹងរបស់យើង។ សេចក្ដីលម្អិតពេញលេញនៅ /privacy/ ។