Free AI Hosting

Host AI models for free. GPU access, API hosting, and cloud deployment.

Được lưu trữ trên đám mây

Dùng cơ sở hạ tầng Free.ai. Không cài đặt, không bảo trì. Tất cả các mô hình được tải sẵn và sẵn sàng sử dụng qua API hoặc giao diện người dùng web.

Có sẵn bây giờ

Tự lưu (DIY)

Chạy cùng một mô hình mở trên phần cứng của bạn, sử dụng trọng lượng mà tác giả của chúng công bố và công cụ phục vụ tiêu chuẩn. Chúng tôi không công bố một hình ảnh Docker.

Dịch vụ tự phục vụ

Tự do quản lý

Máy chủ GPU chuyên dụng do chúng tôi quản lý, được triển khai ở vùng đám mây của bạn, tách dữ liệu hoàn toàn và SLA tùy chỉnh.

Enterprise

Tự lưu

Các mô hình tự lưu của chúng tôi là các mô hình cân nặng mở mà tác giả công bố trọng lượng, hầu hết trong số chúng theo giấy phép cho phép (kiểm tra mỗi thẻ mô hình). Chúng tôi không công bố một hình ảnh Docker hoặc máy chủ suy luận của riêng mình; để chạy một mô hình, hãy sử dụng một máy chủ mã nguồn mở tiêu chuẩn như vLLM:

# Example with vLLM (third-party, Apache 2.0) and a Qwen model from Hugging Face
pip install vllm
vllm serve Qwen/Qwen3-30B-A3B-Instruct-2507 --port 8000
Yêu cầu tối thiểu
  • NVIDIA GPU với 24GB+ VRAM (RTX 4090, A5000, A100)
  • CUDA 12.0+ and a recent NVIDIA driver
  • RAM hệ thống 16GB+ mỗi mẫu
  • Đối với các mẫu tham số 72B: 80GB VRAM (A100) hoặc cài đặt đa GPU

Tại sao lại là Self-Host?

  • Bảo mật dữ liệu: Your data never leaves your servers
  • Không giới hạn tốc độ: Unlimited inference on your hardware
  • Chấp nhận: Meet data residency requirements
  • Tự chọn: Fine-tune models on your data
  • Kiểm soát chi phí: Fixed hardware costs, no per-token fees
  • Không khí: Runs fully offline

Câu hỏi thường gặp

Cloud Hosted (dùng cơ sở hạ tầng của chúng tôi, không cài đặt) là tùy chọn chuẩn. Bạn cũng có thể tự chạy các mô hình mở trên GPU của mình với các công cụ chuẩn, không cần sự giúp đỡ của chúng tôi hoặc phần mềm của chúng tôi. Một việc triển khai riêng được quản lý (máy chủ GPU dành riêng do chúng tôi chạy) được giới hạn và được đưa ra theo tài khoản.

Nó phụ thuộc vào mô hình và công cụ phục vụ. Như một hướng dẫn thô sơ, một GPU NVIDIA với 24GB+ VRAM (RTX 4090, A5000, A100), CUDA 12.0+, 16GB+ RAM hệ thống và 100GB+ lưu trữ mỗi mô hình; các mô hình lớp 70B cần 80GB VRAM hoặc nhiều GPU. Kiểm tra thẻ mô hình và tài liệu công cụ phục vụ của bạn.

Nếu bạn tự chạy mô hình cân nặng mở, chúng có thể chạy ngoài mạng sau khi bạn tải về trọng lượng và công cụ phục vụ. Cấu hình đó là của bạn: chúng tôi không cung cấp phần mềm cho nó.

Chúng tôi không công bố hình ảnh Docker hay một chương trình cài đặt. Tải xuống các trọng lượng mô hình từ tác giả mô hình (thường là trên Hugging Face) và cung cấp chúng với một công cụ mã nguồn mở tiêu chuẩn như vLLM. Nếu bạn muốn chúng tôi triển khai và chạy nó cho bạn, gửi thư điện tử tới hello@free.ai và chúng tôi sẽ phân chia nó cho mỗi tài khoản.

All self-hosted models use permissive open-source licenses -- Apache 2.0, MIT, or BSD. You can use them commercially without restrictions. We deliberately exclude models with restrictive licenses like Meta's Llama license.

Managed private hosting gives you dedicated GPU servers in your preferred cloud region, fully managed by our team. We handle setup, patching, model updates, and monitoring. You get full data isolation with an enterprise SLA.

Nếu giấy phép của mô hình cho phép, bạn có thể tự điều chỉnh trọng lượng mở bằng các khung tiêu chuẩn như Hugging Face Transformers. Chúng tôi không cung cấp công cụ điều chỉnh hay hình ảnh.

Contact our sales team to discuss a trial period. We typically offer a short evaluation period for enterprise prospects to test managed private hosting before committing to a long-term plan.

Cloud hosting uses the standard token-based pricing. Self-hosted is free -- you only pay for your own hardware and electricity. Managed private hosting is priced based on GPU allocation, region, and SLA level.

Có. Bạn có thể tự chạy một số mô hình mở và sử dụng đám mây Free.ai cho mọi thứ khác. Đường dẫn yêu cầu giữa hai thứ là tùy thuộc vào bạn, và API của máy chủ của bạn sẽ theo bất kỳ công cụ nào bạn chạy.

Chúng tôi không cung cấp phần mềm hay hỗ trợ cho việc tự triển khai. Một sự triển khai riêng tư được quản lý, theo phạm vi tài khoản, bao gồm hỗ trợ kỹ thuật bằng email, theo dõi và một quản lý tài khoản chuyên dụng.

Cloud hosted is best for teams that want zero maintenance. Self-hosted is ideal for data privacy, compliance, or unlimited usage on your own hardware. Managed private is the best of both worlds -- full data isolation with no operational burden.

Cậu yêu Free.ai?

Muốn thêm nữa không? Đăng ký miễn phí: 30.000 token/ngày Đăng ký miễn phí

Đánh giá trang này