FreeLLMAPI

FreeLLMAPI – 开源 AI 模型聚合平台，统一OpenAI兼容格式

FreeLLMAPI：汇聚海量免费AI算力，赋能开发者本地实验新纪元

在人工智能飞速发展的今天，模型调用成本往往成为制约个人开发者创新和实验的瓶颈。FreeLLMAPI应运而生，它是一款开源的OpenAI兼容代理服务，巧妙地将约14家AI服务商的免费额度整合到一个统一的API端点，每月提供高达约13亿tokens的免费推理能力。这款基于TypeScript/Express构建的代理服务，集成了自动故障转移、智能路由、密钥加密和用量追踪等强大功能，专为满足个人开发者在本地进行实验和原型验证的需求而设计。

FreeLLMAPI的核心价值在于其多功能性与便捷性：

• 无缝对接OpenAI生态：FreeLLMAPI提供了标准的/v1/chat/completions和/v1/models接口，这意味着您无需修改现有代码，只需调整base_url即可让官方OpenAI SDK、LangChain、LlamaIndex等主流客户端无缝接入。
• 海量免费额度触手可及：它整合了Google Gemini、Groq、Cerebras、SambaNova、NVIDIA NIM、Mistral、OpenRouter、GitHub Models、HuggingFace、Cohere、Cloudflare、智谱Z.ai、Moonshot Kimi、MiniMax等约14家平台的免费额度，总计每月可达13亿tokens，极大地降低了AI实验的门槛。
• 智能容错与高可用性：当首选的AI服务商出现请求失败（如429/5xx错误）或超时时，FreeLLMAPI会自动将其暂时禁用，并根据预设的优先级链逐一尝试其他服务商，最多可重试20次，确保了服务的连续性和稳定性。
• 精细化用量管理：对于每一个“平台-模型-密钥”的组合，FreeLLMAPI都能实时追踪其每分钟（RPM）、每天（RPD）、每30分钟（TPM）和每月（TPD）的请求次数和token用量，确保始终调用处于额度内的健康密钥。
• 稳定会话体验：为了保证多轮对话的连贯性，FreeLLMAPI会在30分钟内将对话锁定在同一个模型上，避免了模型切换可能带来的输出质量波动或上下文丢失问题。
• 安全加固的密钥管理：所有上游提供商的API密钥都在SQLite数据库中采用AES-256-GCM进行静态加密，仅在发起请求时临时在内存中解密，用完即焚，显著降低了密钥泄露的风险。
• 简化的认证机制：客户端只需使用一个统一的freellmapi-...格式的Bearer Token即可访问代理服务，无需在应用代码中硬编码多家上游的真实密钥，极大地简化了密钥管理。
• 全功能支持流式输出与工具调用：FreeLLMAPI完整支持Server-Sent Events（SSE）流式输出，满足长文本逐字生成的需求。同时，它也兼容OpenAI风格的tools/tool_choice多轮工具调用流程，为构建智能Agent提供了便利。
• 直观的可视化管理后台：内置的React/Vite管理后台提供了直观的操作界面，用户可以轻松拖拽调整回退链的优先级，在Playground中快速测试模型，并实时查看24小时、7天或30天的延迟、成功率、Token用量等统计数据。
• 轻量级部署，无处不在：基于TypeScript/Express构建，FreeLLMAPI的空载内存占用仅约40MB RSS，使其能够轻松部署在树莓派等ARM设备上，并通过PM2/systemd实现常驻运行，成为一个低功耗的本地AI。

使用FreeLLMAPI的过程也极为便捷：

1. 快速安装：通过git clone克隆项目，然后执行npm install即可完成安装。
2. 配置密钥：复制.env.example为.env文件，并生成一个32字节的ENCRYPTION_KEY用于数据加密。
3. 启动服务：运行npm run dev即可同时启动后端API（端口3001）和管理仪表盘（端口5173）。
4. 录入API密钥：在仪表盘的“Keys”页面，粘贴您从各个AI服务商获取的免费API密钥。
5. 定制回退策略：在“Fallback Chain”页面，通过拖拽操作来设置您偏好的提供商优先级顺序。
6. 获取统一访问令牌：在仪表盘上生成一个freellmapi-...格式的Bearer Token，用于客户端的身份验证。
7. 集成到SDK：在您的应用程序中，将OpenAI客户端的base_url设置为http://localhost:3001/v1，并将模型参数设置为"auto"或具体的模型名称。
8. 命令行测试：您也可以通过curl命令向http://localhost:3001/v1/chat/completions发送标准的OpenAI格式请求进行测试。
9. Playground验证：利用仪表盘内置的Playground功能，直接输入提示词即可快速验证连通性和路由效果。
10. 后台常驻运行：借助PM2或systemd等工具，您可以轻松地将FreeLLMAPI部署为后台服务，使其在树莓派等设备上长期稳定运行。

FreeLLMAPI的核心优势在于其独树一帜的免费额度聚合能力，使得个人开发者能够以极低的成本体验和开发AI应用。与LiteLLM和One API等竞品相比，FreeLLMAPI在免费额度聚合、部署便捷性以及轻量级本地化部署方面具有显著优势，尤其适合个人开发者进行原型验证和本地实验。

FreeLLMAPI的应用场景十分广泛：

• 个人开发者本地实验与原型验证：它为个人开发者提供了一个无需付费即可进行AI应用创意验证的平台，将多家免费额度汇聚成一个本地OpenAI端点。
• 多平台免费额度聚合调用：通过整合约14家平台的免费资源，每月提供约13亿tokens，非常适合预算有限但需要大量算力的个人项目。
• 低功耗设备常驻代理：其轻量级特性使其非常适合部署在树莓派等设备上，作为家庭内网或边缘节点的AI。
• OpenAI兼容接口学习：标准化的接口设计方便开发者学习和调试OpenAI SDK等生态工具。
• 多模型快速对比测试：统一的接口和可视化后台，使得在同一环境下快速对比不同免费提供商的模型性能变得触手可及。

FreeLLMAPI的项目地址为：https://github.com/tashfeenahmed/freellmapi