Free AI Hosting
Host AI models for free. GPU access, API hosting, and cloud deployment.
Cloud hosted
Využijte infrastrukturu Free.ai. Nula nastavení, nula údržba. Všechny modely jsou přednaloženy a připraveny k použití přes API nebo webové UI.
Dostupné nyníVlastní náklady (DIE)
Spusťte stejné otevřené modely na vlastním hardwaru, pomocí závaží, které jejich autoři zveřejňují a standardně slouží nástroje. Nepublikujeme Dockerův obraz.
Samoobslužná službaSpravovaný soukromý
Dedikované GPU servery, které jsme spravovali, nasazené ve vašem preferovaném cloudovém regionu. Plná izolace dat a vlastní SLA.
PodnikVlastní úsilí
Naše samohostované modely jsou otevřené modely, jejichž autoři vydávají váhy, většinou pod povolenými licencemi (kontrolujte každou modelovou kartu). Nezveřejňujeme Dockerův obraz nebo vlastní server; k vlastnímu spuštění modelu používáme standardní open-source server, jako je vLLM:
# Example with vLLM (third-party, Apache 2.0) and a Qwen model from Hugging Face
pip install vllm
vllm serve Qwen/Qwen3-30B-A3B-Instruct-2507 --port 8000
Minimální požadavky
- NVIDIA GPU s 24GB+ VRAM (RTX 4090, A5000, A100)
- CUDA 12.0+ a nedávný ovladač NVIDIA
- 16GB+ systém RAM, 100GB+ úložiště na model
- Pro 72B modely parametrů: 80GB VRAM (A100) nebo více GPU nastavení
Proč sebehostit?
- Ochrana osobních údajů: Your data never leaves your servers
- Žádné limity sazeb: Unlimited inference on your hardware
- Soulad: Meet data residency requirements
- Přizpůsobení: Fine-tune models on your data
- Kontrola nákladů: Fixed hardware costs, no per-token fees
- Vzduchově zavěšené: Runs fully offline