Free AI Hosting
Host AI models for free. GPU access, API hosting, and cloud deployment.
У аблачыне
Выкарыстоўвайце інфраструктуру Free.ai. Няма неабходнасці ўсталёўваць і падтрымліваць праграму. Усе мадэлі загружаныя і гатовыя да выкарыстання праз API або інтэрфейс вэб- прыкладання.
Даступны заразСамастойна
Выканаць тыя ж самыя адкрытыя мадэлі на вашым уласным абсталяванні, выкарыстоўваючы вагаванні, апублікаваныя іх аўтарамі, і стандартныя інструменты абслугоўвання. Мы не публікуем Docker- вобраз.
СамаабслугоўваннеПрыватная
Выдаленыя серверы GPU, якія кіруюцца намі, разьмешчаныя ў вашым аддаленым рэгіёне. Поўная ізаляцыя дадзеных і асабістыя SLA.
ПраграмаСамастойнае разгортванне
Нашы мадэлі, якія захоўваюцца ў саміх карыстальнікаў, - гэта мадэлі з адкрытымі вагамі, аўтары якіх публікуюць вагу, большасць з іх пад дазволенымі ліцэнзіямі (праверце кожную картку мадэлі). Мы не публікуем Docker- вобразы або нашы ўласныя серверы высноваў; каб запусціць мадэль самастойна, выкарыстоўвайце стандартны сервер з адкрытым кодам, такі як vLLM:
# Example with vLLM (third-party, Apache 2.0) and a Qwen model from Hugging Face
pip install vllm
vllm serve Qwen/Qwen3-30B-A3B-Instruct-2507 --port 8000
Мінімальны патрабаванне
- Графічны працэсар NVIDIA з 24 ГБ+ VRAM (RTX 4090, A5000, A100)
- CUDA 12.0+ і апошні драйвэр NVIDIA
- 16 ГБ + сістэмная памяць, 100 ГБ + памяць на мадэль
- Для мадэляў з параметрамі 72B: 80 ГБ VRAM (A100) або налада multi-GPU
Чаму патрэбны аўдыё- і відэа-рэжым?
- Прыватнасць дадзеных: Your data never leaves your servers
- Без абмежавання хуткасці: Unlimited inference on your hardware
- Суадносіны: Meet data residency requirements
- Настаўленні: Fine-tune models on your data
- Кантроль кошту: Fixed hardware costs, no per-token fees
- Паветраная прага: Runs fully offline