Free AI Hosting
Host AI models for free. GPU access, API hosting, and cloud deployment.
Cloud Hosted
Brug Free.ai infrastruktur. Nulopsætning, nul vedligeholdelse. Alle modeller er forudindlæste og klar til brug via API eller web UI.
Tilgængelig nuSelvbelastet (DIY)
Kør de samme open-weight modeller på din egen hardware, ved hjælp af de vægte deres forfattere offentliggøre og standard servering værktøjer. Vi udgiver ikke et Docker-billede.
SelvbetjeningAdministreret privat
Dedikerede GPU-servere, der forvaltes af os, implementeres i din foretrukne cloud-region. Fuld dataisolation og brugerdefinerede SLA.
VirksomhedSelvoptaget anvendelse
Vores selvværd modeller er open-weight modeller, hvis forfattere offentliggør vægtene, de fleste af dem under eftergivende licenser (tjek hvert modelkort). Vi udgiver ikke et Docker-billede eller vores egen inferensserver; for at køre en model selv, skal du bruge en standard open source-server som vLLM:
# Example with vLLM (third-party, Apache 2.0) and a Qwen model from Hugging Face
pip install vllm
vllm serve Qwen/Qwen3-30B-A3B-Instruct-2507 --port 8000
Mindstekrav
- NVIDIA GPU med 24GB + VRAM (RTX 4090, A5000, A100)
- CUDA 12.0+ og en nylig NVIDIA-driver
- 16GB+ system RAM, 100GB+ opbevaring pr model
- For 72B parametermodeller: 80GB VRAM (A100) eller multi-GPU opsætning
Hvorfor selvoptaget?
- Datasikkerhed: Your data never leaves your servers
- Ingen satsgrænser: Unlimited inference on your hardware
- Overholdelse: Meet data residency requirements
- Tilpasning: Fine-tune models on your data
- Omkostningsstyring: Fixed hardware costs, no per-token fees
- Luftaftappet: Runs fully offline