一、多厂商上游渠道接入功能(底层核心)

统一封装各类大模型接口,下游无需改动代码即可无缝切换模型。
  1. 支持接入主流模型服务商
  • OpenAI:GPT3.5、GPT4、GPT4o、DALL・E 绘图、Whisper 语音、Embedding 向量;支持官方 API、Azure OpenAI;
  • Anthropic:Claude2、Claude3 Opus/Sonnet/Haiku 全系;
  • Google:Gemini 全系列 Pro/Ultra;
  • 国产大模型:智谱、通义千问、文心一言、讯飞星火、DeepSeek、月之暗面等国内 API;
  • 生成类:Midjourney、Stable Diffusion 绘图、Suno 语音生成、TTS 语音合成;
  • 向量 & 重排:各类 Embedding 嵌入模型、Rerank 重排模型,适配知识库业务。
  1. 渠道配置能力
  • 单个渠道批量导入多条上游密钥,密钥分组管理;
  • 自定义每个渠道可开放的模型列表,单独禁用某个模型;
  • 自定义接口代理地址、超时时间、请求前缀,适配第三方中转渠道;
  • 渠道健康探测:自动轮询检测上游密钥可用性,密钥失效、欠费自动标记下线。
  1. 模型映射转换

    不同厂商接口自动转 OpenAI 兼容格式,下游调用格式统一不变。

二、负载均衡与智能路由调度

  1. 同渠道多密钥负载策略:轮询、随机、权重分配三种分发规则,自动分流请求;
  2. 跨渠道模型路由:同一个模型名称绑定多个上游渠道,某个渠道故障自动切换备用上游;
  3. 失败自动重试:上游接口报错、超时自动切换同组其他密钥,提升接口可用性;
  4. 限流隔离:单渠道配置 QPS 上限,防止上游封号、超限封禁。

三、用户管理与密钥分发(面向下游客户)

  1. 用户分级管理:管理员、普通用户、普通访客多角色权限;
  2. 下游 API 密钥生成:后台批量创建用户专属调用 key,下游使用该 key 对接自己程序 / AI 客户端;
  3. 配额管控:按令牌(token)设置总额度、日限额,额度耗尽自动禁用密钥;
  4. 模型黑白名单:单独限制某个用户不能调用 GPT4、绘图等高成本模型;
  5. 密钥启用 / 禁用:一键关停异常密钥,临时限制用户调用权限。

四、计费 & 定价体系(商业化必备)

  1. 自定义单价:每个模型单独设置输入 token、输出 token 计费单价,区分收费标准;
  2. 扣费规则:实时统计消耗 token 并扣减用户额度,明细可查;
  3. 余额充值:用户后台自助充值额度,支持卡密充值、人工后台加额;
  4. 卡密批量生成:批量生成面值卡密,线下售卖、发卡充值兑换额度;
  5. 免费额度配置:新用户注册赠送免费试用额度,用于引流体验。

五、数据统计、日志与账单明细

  1. 全局统计看板:总调用次数、当日消耗 token、活跃用户、渠道消耗排行可视化数据;
  2. 独立账单:单个用户、单个密钥的调用记录、扣费明细、使用模型、消耗 token 全量日志;
  3. 上游渠道账单:统计每个上游密钥消耗总量,核算上游成本;
  4. 日志检索:按时间、用户 key、模型名称筛选请求日志,排查报错与异常调用;
  5. 导出报表:账单数据支持导出,方便财务对账。

六、站点前台与用户自助功能

  1. 用户自助面板:注册登录、查看自己密钥、查看消耗账单、自助充值、查看剩余额度;
  2. 接口文档页:内置 OpenAI 格式对接文档,用户直接复制地址 + 密钥接入各类 AI 软件;
  3. 模型列表展示:前端展示站点支持的全部模型名称、单价;
  4. 充值卡密兑换入口:用户自主输入卡密兑换余额额度。

七、安全管控与风控功能

  1. IP 黑白名单:限制指定 IP 禁止访问接口,封禁恶意高频调用 IP;
  2. 单用户 QPS 限流:设置单个密钥每秒最大请求次数,防止恶意刷量损耗上游成本;
  3. 敏感词拦截(可选拓展):配置违规关键词,命中后直接拦截请求;
  4. 异常调用告警:大额消耗、高频异常请求后台预警;
  5. 接口地址自定义:修改后端接口路由地址,隐藏默认路径提升安全性。

八、系统配置、拓展与部署能力

  1. 基础站点配置:网站名称、LOGO、公告、客服联系方式、注册开关;
  2. 注册管控:开启 / 关闭自助注册、开启注册赠送免费额度;
  3. 数据库选择:支持 SQLite 轻量化部署、MySQL 大容量商用部署;
  4. Docker 一键部署:官方提供 docker 镜像,一键启动部署,适配服务器快速搭建;
  5. 反向代理适配:兼容 Nginx 反向代理配置,绑定域名 + SSL 证书实现 HTTPS 访问。

九、拓展联动功能

  1. 对接支付(二开 / 插件拓展):对接易支付、个人收款实现用户在线自助充值;
  2. 对接 OneAPI/Sub2API 等上下游:New-API 既可当下游接入别人聚合接口,也可作为上游被其他聚合系统接入;
  3. 对接 ChatGPT 网页客户端:配合开源 ChatUI、Kimi 类前端页面,快速搭建私有化 AI 对话网站。
声明:本站全部开源内容严格依照 MIT、Apache 2.0、BSD、WTFPL 开源协议分发。平台所提供的技术教程、项目搭建服务属于有偿服务,附带的快速构建文件仅为辅助工具,本平台不以售卖源码作为经营内容。资源下载链接仅为提升用户获取便利性而设置。如原作者更改协议相关内容,导致侵犯权利人合法权益,请权利人及时联系本站,我们将立即处理。