Lance — гэта 2025-я ўнутраная аб'яднаная шматмодальная мадэль ByteDance — 3B актыўных параметраў пад Apache 2.0. Адзін набор вагі ахоплівае чатыры задачы: тэкст→відэа (768×768), рэдагаванне відэа (768×768), тэкст→відэа (480p, да 121 кадраў ≈ 5 секунд), і разуменне відэа+відэа (VQA, субтытры). Пабудаваны на Qwen-вытворным LLM-сцягне з Wan-Video VAE і Qwen.5-VL ViT. Самахоўны на Free.ai's H200 без аператара, без API-маркіроўкі і без платы за выклік, якая перавышае ваш баланс.

Большасць адкрытых стэкаў выбіраюць лепшага спецыяліста для кожнай паверхні - SDXL або FLUX для стварэння неапрацаваных малюнкаў, Qwen-Image-Edit для рэдагавання, Wan 2. 2 для відэа, Qwen. 5-VL для разважання на мове візуальных эфектаў. Lance змяняе якасць кожнай задачы на суадносіны паміж задачамі: адно і тое ж унутранае прадстаўленне падае кожны вывад, так што малюнак, які вы ствараеце і затым рэдагуеце, захоўвае свой стыль, а VQA, якое мадэль дае пра відэа, адпавядае моўнай мадэлі ў той жа кантрольнай кропцы. Прыдатна для даследаванняў і дэманстрацый, якія карыстаюцца адной кансерватыўнай мадэллю, а не канвеерам з чатырох.

Выберыце Lance, калі: вы хочаце захаваць адзіны стыль для малюнка + рэдагавання + відэа з адной мадэлі, вы прататыпуеце шматзадачны канвеер і "адна мадэль" мае значэнне, або вам патрэбна дазволеная ліцэнзія на аб'яднаны працоўны працэс. Выберыце спецыялістаў, калі: вы хочаце найвышэйшай якасці raw image gen (FLUX. 2 Klein > Lance на > 768²), доўгі / найвышэйшай якасці відэа (Wan 2. 2 TI2V- 5B або HunyuanVideo > Lance на > 480p), або хуткі VQA ў чаты (Qwen 2. 5- VL заўсёды гарачы на H200, Lance павінен быць загрузкай).

Тэкст→відэа: 15, 000 знакаў (адпавядае класу CogVideoX / Wan 5B). ВКВ відэа+тэксту: 1, 000 знакаў. Больш высокая цана ў параўнанні з SDXL (1, 000) адлюстроўвае большую халодную нагрузку Lance - кожны выклік выкідае астатнюю частку гарачай флоты і перазагружае 40 ГБ вагі, што дадае 25- 40 секунд да самага вываду. Мы факсуем за ўсе часы працы GPU, а не толькі за вывад.

Пасля халоднай загрузкі (~25-40 с): стварэнне здымка ~12-20 с, рэдагаванне здымка ~15-25 с, тэкст→відэа ~60-180 с (у залежнасці ад num_frames), VQA ~3-8 с. Кожны выклік Lance cold-loads мадэль, таму што яна не можа быць суседняй з астатняй часткай гарачага флоту на H200, так што зацягванне cold-load з'яўляецца часткай кожнага выкліку, а не толькі першага.

Рэдагаванне і стварэнне малюнкаў ажыццяўляецца ў рэжыме 768×768. Відэа рэдагуецца ў рэжыме 480p (звычайна 480×848 пейзаж) і з хуткасцю 121 кадр у секунду (~5 секунд пры 24 кадрах у секунду). Гэта рэжымы, на якіх быў трэніраваны Lance; для павышэння іх неабходна выкарыстоўваць асобную мадэль (праверце / image/ upscaler / для малюнкаў або / video/ upscaler / для відэа).

Janus (DeepSeek) і Show-o падзяляюць разуменне і генерацыю на асобныя галіны на агульным сцябле; Lance больш цвёрда аб'яднаны - адзін набор генерацыйных + разумення галін з выразнымі знакамі задач. Emu3 (BAAI) тэканізуе ўсё як дыскрэтныя знакі, уключаючы пікселяў, што дае яму чыстую аўтарэгрэсіўную генерацыю, але ніжэйшую якасць пры фіксаваных вылічэннях. Ланц мае чатырохзадачны пояс у 3B актыўных параметрах плюс яго Wan-паходжаньне VAE, які апрацоўвае відэа нацыянальна (Janus і Show-o толькі малюнкі).

Apache 2.0 — як вага (huggingface.co/bytedance-research/Lance), так і рэпазіторый GitHub (github.com/bytedance/Lance). Няма тэрытарыяльных абмежаванняў, няма абмежавання на колькасць карыстальнікаў, няма некамэрцыйнага карыстання, няма пункта толькі для даследаванняў. Вывад можа быць выкарыстаны ў камерцыйных мэтах без аплаты аўтарскіх правоў або патрабаванняў да прыпісання, акрамя стандартнага ліцэнзійнага тэкст Apache 2.0.

40 ГБ мінімум па README ByteDance. 3B актыўных параметраў з' яўляюцца абманнымі - поўны Qwen LLM + Wan VAE + Qwen.5-VL ViT усе сядзяць у памяці разам. Для самастойнага хостынгу вам спатрэбіцца адзін A100 80 ГБ, A6000 48 ГБ, або H100/H200 з не менш чым 40 ГБ вольнага месца. Мы запускаем яго на нашым H200 (141 ГБ усяго), але ён усё яшчэ выкідае астатнія загружаныя мадэлі за выклік, таму што гэта самы цяжкі адзіны выпадак на бляшанцы.

Так — POST JSON або multipart у /v1/multimodal/lance/ на api.free.ai з {task: "t2i" | "image_edit" | "t2v" | "vqa", prompt: "...", image: <upload> або image_url: "/static/outputs/..."}.

Мы адзначылі Lance як эксперыментальную, бо лятанне пры халоднай нагрузке азначае, што ён не падыходзіць для вялікага аб' ёму трафіка - кожны выклік выкідае гарачы флот і перазагружае. Мы можам дадаць "гаручы Lance" пазней, калі выкарыстанне оправдывает выдзяленне слота, або мы можам дадаць другі H200 спецыяльна для аб' яднаных мадэляў. Зараз ён даступны на той жа эканоміі токенаў, як і астатнія мадэлі Free.ai з уласным хостынгам без дадатковай платы, толькі вышэйшая цана за званок, якая адлюстроўвае час GPU.

Загружаныя малюнкі для рэдагавання і VQA выдаляюцца адразу пасля завяршэння задання. Створаны вывад знаходзіцца ў нашай CDN на працягу 24 гадзін (7 дзён для платных карыстальнікаў), таму вы можаце перазагрузіць з / account /? tab=history. Нішто не падзяляецца з ByteDance - вагаванні працуюць лакальна на нашым абсталяванні. Падрабязнасці ў / privacy /.