一、多厂商上游渠道接入功能(底层核心)
统一封装各类大模型接口,下游无需改动代码即可无缝切换模型。
- 支持接入主流模型服务商
- OpenAI:GPT3.5、GPT4、GPT4o、DALL・E 绘图、Whisper 语音、Embedding 向量;支持官方 API、Azure OpenAI;
- Anthropic:Claude2、Claude3 Opus/Sonnet/Haiku 全系;
- Google:Gemini 全系列 Pro/Ultra;
- 国产大模型:智谱、通义千问、文心一言、讯飞星火、DeepSeek、月之暗面等国内 API;
- 生成类:Midjourney、Stable Diffusion 绘图、Suno 语音生成、TTS 语音合成;
- 向量 & 重排:各类 Embedding 嵌入模型、Rerank 重排模型,适配知识库业务。
- 渠道配置能力
- 单个渠道批量导入多条上游密钥,密钥分组管理;
- 自定义每个渠道可开放的模型列表,单独禁用某个模型;
- 自定义接口代理地址、超时时间、请求前缀,适配第三方中转渠道;
- 渠道健康探测:自动轮询检测上游密钥可用性,密钥失效、欠费自动标记下线。
- 模型映射转换
不同厂商接口自动转 OpenAI 兼容格式,下游调用格式统一不变。
二、负载均衡与智能路由调度
- 同渠道多密钥负载策略:轮询、随机、权重分配三种分发规则,自动分流请求;
- 跨渠道模型路由:同一个模型名称绑定多个上游渠道,某个渠道故障自动切换备用上游;
- 失败自动重试:上游接口报错、超时自动切换同组其他密钥,提升接口可用性;
- 限流隔离:单渠道配置 QPS 上限,防止上游封号、超限封禁。
三、用户管理与密钥分发(面向下游客户)
- 用户分级管理:管理员、普通用户、普通访客多角色权限;
- 下游 API 密钥生成:后台批量创建用户专属调用 key,下游使用该 key 对接自己程序 / AI 客户端;
- 配额管控:按令牌(token)设置总额度、日限额,额度耗尽自动禁用密钥;
- 模型黑白名单:单独限制某个用户不能调用 GPT4、绘图等高成本模型;
- 密钥启用 / 禁用:一键关停异常密钥,临时限制用户调用权限。
四、计费 & 定价体系(商业化必备)
- 自定义单价:每个模型单独设置输入 token、输出 token 计费单价,区分收费标准;
- 扣费规则:实时统计消耗 token 并扣减用户额度,明细可查;
- 余额充值:用户后台自助充值额度,支持卡密充值、人工后台加额;
- 卡密批量生成:批量生成面值卡密,线下售卖、发卡充值兑换额度;
- 免费额度配置:新用户注册赠送免费试用额度,用于引流体验。
五、数据统计、日志与账单明细
- 全局统计看板:总调用次数、当日消耗 token、活跃用户、渠道消耗排行可视化数据;
- 独立账单:单个用户、单个密钥的调用记录、扣费明细、使用模型、消耗 token 全量日志;
- 上游渠道账单:统计每个上游密钥消耗总量,核算上游成本;
- 日志检索:按时间、用户 key、模型名称筛选请求日志,排查报错与异常调用;
- 导出报表:账单数据支持导出,方便财务对账。
六、站点前台与用户自助功能
- 用户自助面板:注册登录、查看自己密钥、查看消耗账单、自助充值、查看剩余额度;
- 接口文档页:内置 OpenAI 格式对接文档,用户直接复制地址 + 密钥接入各类 AI 软件;
- 模型列表展示:前端展示站点支持的全部模型名称、单价;
- 充值卡密兑换入口:用户自主输入卡密兑换余额额度。
七、安全管控与风控功能
- IP 黑白名单:限制指定 IP 禁止访问接口,封禁恶意高频调用 IP;
- 单用户 QPS 限流:设置单个密钥每秒最大请求次数,防止恶意刷量损耗上游成本;
- 敏感词拦截(可选拓展):配置违规关键词,命中后直接拦截请求;
- 异常调用告警:大额消耗、高频异常请求后台预警;
- 接口地址自定义:修改后端接口路由地址,隐藏默认路径提升安全性。
八、系统配置、拓展与部署能力
- 基础站点配置:网站名称、LOGO、公告、客服联系方式、注册开关;
- 注册管控:开启 / 关闭自助注册、开启注册赠送免费额度;
- 数据库选择:支持 SQLite 轻量化部署、MySQL 大容量商用部署;
- Docker 一键部署:官方提供 docker 镜像,一键启动部署,适配服务器快速搭建;
- 反向代理适配:兼容 Nginx 反向代理配置,绑定域名 + SSL 证书实现 HTTPS 访问。
九、拓展联动功能
- 对接支付(二开 / 插件拓展):对接易支付、个人收款实现用户在线自助充值;
- 对接 OneAPI/Sub2API 等上下游:New-API 既可当下游接入别人聚合接口,也可作为上游被其他聚合系统接入;
- 对接 ChatGPT 网页客户端:配合开源 ChatUI、Kimi 类前端页面,快速搭建私有化 AI 对话网站。
声明:本站全部开源内容严格依照 MIT、Apache 2.0、BSD、WTFPL 开源协议分发。平台所提供的技术教程、项目搭建服务属于有偿服务,附带的快速构建文件仅为辅助工具,本平台不以售卖源码作为经营内容。资源下载链接仅为提升用户获取便利性而设置。如原作者更改协议相关内容,导致侵犯权利人合法权益,请权利人及时联系本站,我们将立即处理。
