Free AI Hosting
Host AI models for free. GPU access, API hosting, and cloud deployment.
Хмара звисає
Використовувати інфраструктуру Free.ai. Налаштовування нульового обслуговування. Всі моделі попередньо завантажено і готові до використання за допомогою API або інтерфейсу мережі.
Доступний заразСамоохайний (DIY)
Запустіть ті самі моделі з відкритим вазі на вашому власному обладнанні, використовуючи ваги їх авторів публікуючи і стандартні обслуговуючи інструменти. Ми не публікуємо зображення Докера.
SelviceКерований приватний
Створені сервери GPU, якими керує ми, було відкрито у вашому бажаному області хмар. Повна ізоляція даних і нетипова SLA.
ПромисловаСамозвеличення
Наші самовладні моделі - це моделі з відкритим вагом чиї автори публікують ваги більшість з них з гнучкими ліцензіями (перевірте кожну модель картки). Ми не оприлюднюємо зображення Docker або свій власний сервер підсумків. Щоб запустити модель самостійно, скористайтеся стандартним сервером з відкритим кодом, на зразок vLM:
# Example with vLLM (third-party, Apache 2.0) and a Qwen model from Hugging Face
pip install vllm
vllm serve Qwen/Qwen3-30B-A3B-Instruct-2507 --port 8000
Мінімальні вимоги
- NVIDIA GPU з 24ГB+ VRAM (RTX 4090, A5000, A100)
- CUDA 12.0+ and a recent NVIDIA driver
- 16GB+ системна пам'ять, 100GB+ зберігання на модель
- Для моделей параметрів 72B: 80GB VRAM (A100) або багато-GPU
Чому він такий самоохайний?
- Особистість даних: Your data never leaves your servers
- Без обмежень швидкості: Unlimited inference on your hardware
- Конляція: Meet data residency requirements
- Налаштування: Fine-tune models on your data
- Керування вартістю: Fixed hardware costs, no per-token fees
- Повітряно- повітряний стрибун: Runs fully offline