Free AI Hosting
Host AI models for free. GPU access, API hosting, and cloud deployment.
Được lưu trữ trên đám mây
Dùng cơ sở hạ tầng Free.ai. Không cài đặt, không bảo trì. Tất cả các mô hình được tải sẵn và sẵn sàng sử dụng qua API hoặc giao diện người dùng web.
Có sẵn bây giờTự lưu (DIY)
Chạy cùng một mô hình mở trên phần cứng của bạn, sử dụng trọng lượng mà tác giả của chúng công bố và công cụ phục vụ tiêu chuẩn. Chúng tôi không công bố một hình ảnh Docker.
Dịch vụ tự phục vụTự do quản lý
Máy chủ GPU chuyên dụng do chúng tôi quản lý, được triển khai ở vùng đám mây của bạn, tách dữ liệu hoàn toàn và SLA tùy chỉnh.
EnterpriseTự lưu
Các mô hình tự lưu của chúng tôi là các mô hình cân nặng mở mà tác giả công bố trọng lượng, hầu hết trong số chúng theo giấy phép cho phép (kiểm tra mỗi thẻ mô hình). Chúng tôi không công bố một hình ảnh Docker hoặc máy chủ suy luận của riêng mình; để chạy một mô hình, hãy sử dụng một máy chủ mã nguồn mở tiêu chuẩn như vLLM:
# Example with vLLM (third-party, Apache 2.0) and a Qwen model from Hugging Face
pip install vllm
vllm serve Qwen/Qwen3-30B-A3B-Instruct-2507 --port 8000
Yêu cầu tối thiểu
- NVIDIA GPU với 24GB+ VRAM (RTX 4090, A5000, A100)
- CUDA 12.0+ and a recent NVIDIA driver
- RAM hệ thống 16GB+ mỗi mẫu
- Đối với các mẫu tham số 72B: 80GB VRAM (A100) hoặc cài đặt đa GPU
Tại sao lại là Self-Host?
- Bảo mật dữ liệu: Your data never leaves your servers
- Không giới hạn tốc độ: Unlimited inference on your hardware
- Chấp nhận: Meet data residency requirements
- Tự chọn: Fine-tune models on your data
- Kiểm soát chi phí: Fixed hardware costs, no per-token fees
- Không khí: Runs fully offline