Moetsi oa Map ea Bophahamo ba AI

Ho kenya litšoantšo leha e le life, ho fumana lethathamo la bophahamo ba morao - setšoantšo se nang le'mala moo pixel e ngoe e encodeng hore na e kantle hakae ho tloha ho kamera. E sebelisa e le tlhahiso ea ControlNet bakeng sa tlhahiso ea setšoantšo se nang le bophahamo bo phahameng, e le ho feta bophahamo bakeng sa liphetoho tsa paralaxe / 3D ka After Effects kapa Blender, kapa e le sebaka sa ho qala bakeng sa ho khutlisa AR / VR. Li-models tse peli: Marigold e mahala (e thata, e potlakileng) kapa bophahamo bo potlakileng ba premium (lintlha tse nyane, li potlakile ho li-inputs tse kholo).

Marigold e sebetsa ka GPUs tsa A100 tse hlophisitsoeng ka bomong - e tsoa ho pool ea hau ea token ea letsatsi le letsatsi (2,500 / letsatsi le sa tsejoeng, 10,000 / letsatsi le ngotsoeng). Mape a bophahamo bo boholo ke ~ 1,500 tokens.

Marigold (bofela) e fana ka bophahamo bo phahameng ka ho fetisisa, bo nepahetseng ka ho fetisisa — bo hlophisitsoeng ka ho nepahetseng ho tloha ho Stable Diffusion, bo fumana bophahamo bo tlase ho limela / moriri / li-folds tsa liaparo. Premium e potlakile ho > 2K inputs le e tšepahala ho feta ho lifoto tse nang le angle e kholo. Bakeng sa ControlNet conditioning kapa ho iketsetsa 3D, bophahamo ho Marigold. Bakeng sa ho sebetsana le limilione tsa lifoto, premium e nepahetse.

PNG ea 512×512 RGB e nang le letšoao la'mala oa Spectral - mosehla o mofubelu / o mofubelu = haufi, bofubelu bo bofubelu / bofubelu = bofubelu. Litheko tsa bophahamo bo bobebe li hlophisitsoe ka 0-1 ho tloha ka setšoantšong. Haeba u hloka bophahamo ba 16-bit grayscale (ka ControlNet kapa Blender displacement maps), sebelisa API le ho fetisetsa `format=16bit_png`.

E-ea — Marigold output ke mofuta oa ControlNet o tloaelehileng oa ho hlophisa bophahamo. E sebelise ka Stable Diffusion / FLUX le bophahamo ba ControlNet bakeng sa ho hlophisa kamore e tsebahalang: fetola sehlooho, ho khanna, setaele ha o boloka sebopeho sa 3D. Free.ai chat e ka e etsa bakeng sa hau — re "ho hlophisa bophahamo ba sehlooho sena, ebe o hlophisa ka FLUX ka mokhoa oa Studio Ghibli".

Marigold ke mofani oa mantlha oa ho etsa lipalo tsa bophahamo ba monocular (CVPR 2024 e ntle ka ho fetisisa). Kahare ho ~ 3-5% ea nnete ea lefatše ka litlhaku tsa kahare (NYU Depth v2), kahare ho 5-8% kantle (KITTI). Bakeng sa bophahamo ba metri (limithara tsa lefats'e la 'nete), e kopanya le kamera e kantle. Bakeng sa bophahamo bo amanang (e haufi le moo), botsitso bo ntle.

JPG, PNG, WebP ho fihlela ho 10MB. Marigold e sebetsa ka 768×768 kahare ho sa tsotelehe boholo ba ho kenya le ho khutlisa. Ho tsoa ho lula ho le 512×512 RGB. Bakeng sa bophahamo bo phahameng ba ho bonts'a, sebelisa khetho e potlakileng e potlakileng e nang le ho theola ka ho hlaka.

Ee — li-maps tsa bophahamo ke li-input tse tloaelehileng bakeng sa After Effects 2.5D paralaxe (plugin ea Mapper ea Kamera), DaVinci Resolve ho tšohla ho latela bophahamo, le ho hlophisa ho lokolloa ha Blender. E etsa bophahamo, e kenya e le sephethephethe sa alpha-matte, e kenya liphetoho tsa kamera ho eona. Bataki ba bangata ba sebelisa sena ho etsa bokeh ea portrait-mode ka li-smartphones tse se nang li-camera tse peli.

Marigold (2024) e feta MiDaS v3 (2022) le Intel DPT ka liteko tsohle tsa sechaba, haholo-holo ka lintlha tse ntle (liaparo, li-foliage, ho bonts'a). Li-API tse tšehelitsoeng ka bophahamo (Replicate, fal) li lefa $ 0.005-0.02 ka setšoantšo - re sebetsa ka boima bo tšoanang ba Marigold ka bongata.

Ee — POST ho /v1/image/depth-map/ le setšoantšo se nang le likarolo tse ngata. Kapa sebelisa /batch/ ho tlosa sehokela'me u fumane ZIP. E ka sebelisoa ho sebetsana le li-frame tsa video ka bophara bakeng sa liphetho tse nang le bophahamo.

Ea - POST multipart `image` ho /v1/image/depth-map/ ka api.free.ai. Bearer auth le konopo ea hau ea API. 10,000 tokens / khoeli e mahala, e lefa li-tiers ka holimo. E khutlisa JSON le `image_url` ho PNG e hlollang. /api/ e na le mohlala oa curl.

E tšoaea ka Photoshop e le mohloli oa mask oa masela, maemo a ControlNet bakeng sa ho tšoantša ka ho hlaka ka /image/edit/, lethathamo la ho tšoaea ka ho hlaka ka Blender, animator ea paralaxe ka After Effects, kapa moqapi oa video ea 2.5D dolly-zoom (LeiaPix-style). E tšoaea ka /image/edit/ bakeng sa ho tšoantša ka ho hlaka ka ho hlaka ka sesebelisoa se le seng.