Free AI Hosting
Host AI models for free. GPU access, API hosting, and cloud deployment.
Mākoņdatošana
Lietot Free.ai infrastruktūru. Nulles iestatīšana, nulles uzturēšana. Visi modeļi ir iepriekš ielādēti un gatavi lietošanai caur API vai tīmekļa UI.
Pieejams tagadPašizpilde (DIY)
Palaist tos pašus atvērtā svara modeļus uz savu aparatūru, izmantojot svarus to autori publicēt un standarta apkalpo rīkus. Mēs nepublicējam Docker attēlu.
PašapkalpošanāsPārvaldītais privātais
Specializētie GPU serveri, kurus pārvalda mēs, izvietoti jūsu vēlamajā mākoņu reģionā. Pilna datu izolācija un pielāgota SLA.
UzņēmumsPašnodarbinātība
Mūsu pašmāju modeļi ir atvērts svars modeļi, kuru autori publicēt svaru, lielākā daļa no tiem saskaņā ar atļauto licenču (pārbaudīt katru paraugu karti). Mēs nepublicējam Docker attēlu vai mūsu pašu incluser serveri; lai palaistu modeli sevi, izmantot standarta atvērtā pirmkoda serveri, piemēram, vLLM:
# Example with vLLM (third-party, Apache 2.0) and a Qwen model from Hugging Face
pip install vllm
vllm serve Qwen/Qwen3-30B-A3B-Instruct-2507 --port 8000Minimālās prasības
- NVIDIA GPU ar 24GB+ VRAM (RTX 4090, A5000, A100)
- CUDA 12.0+ un nesens NVIDIA draiveris
- 16GB+ sistēmas RAM, 100GB+ uzglabāšana katram modelim
- 72B parametru modeļiem: 80GB VRAM (A100) vai vairāku GPU iestatīšana
Kāpēc ir vajadzīga pašcieņa?
- Datu privātums — Your data never leaves your servers
- Nav ierobežojumu attiecībā uz likmēm — Unlimited inference on your hardware
- Atbilstība — Meet data residency requirements
- Pielāgošana — Fine-tune models on your data
- Izmaksu kontrole — Fixed hardware costs, no per-token fees
- Gaiss — Runs fully offline
BUJ
Mākoņdatošana (izmantojiet mūsu infrastruktūru, nulles iestatīšana) ir standarta opcija. Jūs varat arī palaist atvērtā svara modeļus pats uz saviem GPU ar standarta rīkiem, bez mūsu palīdzības vai mūsu programmatūras. Pārvaldīta privāta izvēršana (pielāgoti GPU serveri, kurus vada mēs) ir aptvērums un kotēts katrā kontā.
Tas ir atkarīgs no modeļa un pakalpojuma instrumenta. Kā raupja ceļvedis NVIDIA GPU ar 24GB+ VRAM (RTX 4090, A5000, A100), CUDA 12.0+, 16GB+ sistēmas RAM un 100GB+ glabāšanu katram modelim; 70B klases modeļiem ir nepieciešama 80GB VRAM vai vairāki GPU. Pārbaudiet modeļa kartes un jūsu apkalpošanas instrumenta dokumentāciju.
Ja jūs pats palaist atvērto svaru modeļus, viņi var palaist offsey, kad esat lejupielādējis svarus un jūsu apkalpošanas rīks. Tas iestatījums ir jūsu: mēs ne kuģu programmatūru tam.
Mēs nepublicējam Docker attēlu vai uzstādītāju. Lejupielādēt modeļa svarus no modeļa autora (parasti uz Hugging Face) un kalpot tos ar standarta atvērtā pirmkoda rīku, piemēram, vLLM. Ja vēlaties, lai mēs izvietotu un palaistu to par jums, e-pasts hello@free.ai un mēs aptvērums to katrā kontā.
All self-hosted models use permissive open-source licenses -- Apache 2.0, MIT, or BSD. You can use them commercially without restrictions. We deliberately exclude models with restrictive licenses like Meta's Llama license.
Managed private hosting gives you dedicated GPU servers in your preferred cloud region, fully managed by our team. We handle setup, patching, model updates, and monitoring. You get full data isolation with an enterprise SLA.
Ja modeļa licence to ļauj, varat precizēt atvērto svaru sevi ar standarta sistēmām, piemēram, Hugging Face Transformers. Mēs nesniedzam precizējošus instrumentus vai attēlus.
Contact our sales team to discuss a trial period. We typically offer a short evaluation period for enterprise prospects to test managed private hosting before committing to a long-term plan.
Cloud hosting uses the standard token-based pricing. Self-hosted is free -- you only pay for your own hardware and electricity. Managed private hosting is priced based on GPU allocation, region, and SLA level.
Jā. Jūs varat pats palaist dažus atvērtā svara modeļus un izmantot Free.ai mākoni visam citam. Pieprasījumi starp abiem ir atkarīgi no jums, un jūsu paša servera API sekos jebkuram jūsu palaistajam instrumentam.
Mēs nesniedzam programmatūru vai atbalstu do-it-yourself izvēršanai. Pārvaldīta privāta izvēršana, kas aptver vienu kontu, ietver tehnisko atbalstu pa e-pastu, uzraudzību un īpašu kontu pārvaldnieku.
Cloud hosted is best for teams that want zero maintenance. Self-hosted is ideal for data privacy, compliance, or unlimited usage on your own hardware. Managed private is the best of both worlds -- full data isolation with no operational burden.