GPU 计算每分钟1000个代币( ~ 0.81/ hr) 。 在编码器中仅用CPU计算每分钟10个代币( 10个代币) 。 托肯包装以5美元开始, 20万个代币( 20万个代币) 。 典型的 30分钟 GPU 会话成本约为 30万个代币( ~ 0.40 美元 ) 。

NVIDIDA100 GPUs各有20GB HBM VRAM,运行着CUDA 12.4. 这些是数据中心级的GPUs,优化用于AI培训,并推断使用FP16、BF16和INT8支持。

Python 3.12 与 PyTorrch、 Tensor Flow、 变压器、 扩散器、 粘粘液、 熊猫、 纽皮、 matplotlib、 JupyterLab 和普通 ML 工具。 您还可以安装任何额外的包件 。

无需信用卡来尝试编码器( CPU 模式为 10 passes/ min ) 。 对于 GPU 计算 ( 1000 passes/ min), 您需要购买标记 。 托肯 包以 5 美元 开始, 共 20 万 个标记, 给您大约 20 分钟的 GPU 时间 。

Free.ai GPU runs inside the Coder IDE with an AI coding agent that can write, debug, and run code for you. No monthly subscription needed - pay per minute with tokens. Plus you get the same A100 GPU that powers our 400+ AI tools.

是的, CUDA 完全可以访问, 您可以训练任何符合 20GB VRAM 的模型。 LoRA/ QLORA 的微调 7B 参数模型非常有效。 对于较大的模型, 使用梯度检查站或通过 API 进行多GPU 培训 。