Skip to content

简介 ​

OneGateway 是面向企业的统一 AI 网关与 Token 管理平台。它将分散的模型服务接入统一入口,让员工、业务应用和 AI Agent 使用模型,同时让企业集中管理访问权限、使用成本与调用安全。

当多个团队开始使用不同的 AI 模型时,企业需要同时回答几个问题:哪些人可以使用哪些模型?费用花在哪里?供应商故障时如何继续服务?敏感内容如何处理?OneGateway 将这些能力集中在统一入口和控制台中,减少各个应用重复接入、开发和维护的工作。

核心能力 ​

能力解决的问题
统一接入与模型管理一个入口调用多家供应商的模型,应用无需分别对接
高可用路由与负载分配同一模型由多家供应商承载,失败时按重试策略尝试备用
密钥与组织权限管理上游密钥集中托管,按人、按应用分别授权
额度管控与精细计费按周期分配额度,按 Token 或调用次数计费
用量分析与调用追踪费用与用量可按部门、成员、模型下钻,单次调用可追溯

统一接入与模型管理 ​

通过统一入口接入 OpenAI、Anthropic、DeepSeek、MiniMax、Moonshot 等模型服务,也可接入协议兼容的企业自建模型。应用可按 OpenAI、Anthropic 等接口格式请求,配置 OneGateway 的 API 地址、API Key 和模型 ID 即可发起调用,沿用已有的调用方式。

  • 迁移成本低:已有应用只需把请求地址和密钥换成 OneGateway 的,通常无需改写主要调用逻辑。
  • 供应商差异由平台处理:平台统一适配不同供应商的接口差异,接口格式、错误码和流式响应在应用侧保持一致体验。
  • 模型范围由管理员维护:管理员集中配置供应商连接、可用模型与价格,成员在可用模型中查看获准使用的模型,比较上下文长度、价格和近期运行状态。

高可用路由与负载分配 ​

同一个模型可以由多家供应商承载。OneGateway 按优先级选择供应商,在同一优先级内按权重分配请求;主用供应商调用失败时,可结合重试策略尝试备用供应商,降低对单一服务的依赖。

  • 优先级与权重:优先级决定主备顺序,同一优先级内按权重分配流量,可用于在多家供应商之间调整比例。
  • 失败重试:可配置触发重试的状态码和重试次数;持续失败的供应商可自动移出候选范围,恢复后重新纳入。
  • 容量叠加:同一模型接入多家供应商后,可降低单一供应商限流的影响,提升整体可用容量。
  • 应用无感:应用继续使用相同的模型 ID,不必自行维护各家供应商的地址和密钥。管理员通过模型路由视图查看承载关系、响应时间和主备配置。

以上是同一模型在多家供应商之间的选择。需要在不同模型之间选择(按复杂度分档、灰度替换模型、模型不可用时换模型)时,使用智能路由插件。

密钥与组织权限管理 ​

上游供应商密钥由管理员集中配置,成员和应用使用 OneGateway 发放的 API Key,不接触上游的原始密钥。

  • 按用途授权:每把密钥可独立设置额度、有效期、可用模型和 IP 限制,支持启停和删除,便于按应用或用途分别授权;密钥疑似泄漏时可立即停用,并确认使用该密钥的请求已被拒绝。
  • 分层访问控制:角色控制可见的菜单和可执行的操作,API Key 上的限制进一步收窄可调用的模型、额度、有效期和来源 IP。
  • 组织数据隔离:平台按组织隔离业务数据,部门用于维护组织归属和分析费用。
  • 自助与代管并行:成员自助管理自己的密钥、查看个人用量;管理员可代成员创建密钥并统一调整限制。详见管理用户和管理 API Keys。

额度管控与精细计费 ​

  • 周期额度:为成员分配按周期重置的消费上限,可选周期以当前环境页面为准,可按部门批量选择成员分配。
  • 接近上限提醒:启用通知后,额度使用达到 80% 时提醒成员,避免额度用完时措手不及。
  • 多层限制:API Key 可设置独立额度,进一步限制单个应用的消耗;启用兑换码功能的环境,也支持通过兑换码为成员充值余额。
  • 两种计费方式:模型支持按 Token 用量或按调用次数计费,可分别配置输入、输出、缓存读取和缓存创建等价格,并结合分组定价的定价倍率计算费用。

企业可以据此核对调用成本、安排额度,减少无计划的消耗。具体规则见额度与兑换码。

用量分析与调用追踪 ​

  • 趋势与分布:通过看板、成本与用量页面查看请求数量、成功与错误情况、Token 用量和费用趋势,并按部门、成员、模型或供应商分析使用情况。
  • 单次调用可追溯:日志记录实际使用的模型与供应商、耗时、首字时间、Token 用量和计费明细,便于定位调用问题。
  • 管理操作留痕:配置变更另有审计记录,可追溯谁在何时改了什么。
  • 按角色分级:成员查看个人数据,管理员通过看板与统计掌握组织整体情况。

增强插件 ​

OneGateway 通过插件在统一调用入口增加模型选择、响应复用与内容检查能力,管理员可按业务需要启用和配置。

  • 智能路由:在请求发往上游之前决定使用哪个模型。调用方统一写一个虚拟模型名(如 og-auto),网关按请求复杂度选择简单、中等、复杂三档模型;也可以把某个模型按比例灰度替换成另一个模型,或在主模型失败时自动切换到候选模型。按实际使用的模型计费,调用方不需要改接口。
  • 语义缓存:对相同或语义相近、符合匹配条件的请求复用历史回答,减少重复的模型生成。例如,“商品不满意,怎么申请退款?”和“购买后想退款,需要怎么操作?”可能复用同一回答。命中时不再请求上游模型;适合答案稳定的常见问题和产品咨询,实际收益取决于命中率、缓存有效期和语义检索开销。
  • 安全护栏:在请求发送给模型前、回答返回调用方前检查文本,按规则拦截或脱敏。可用于敏感信息识别、提示词注入检测和内容审核,并记录命中事件,帮助企业统一执行内容安全策略。

三项能力均支持适用接口的流式与非流式调用。支持范围和配置方式见智能路由、语义缓存与安全护栏。

部署模式 ​

OneGateway 支持 SaaS 模式和混合部署模式,可根据企业的网络条件、模型位置及数据管理要求选择部署方式。

实时调用由 Token Gate(数据面)处理,负责协议适配、路由转发、计费扣减,以及智能路由、语义缓存、安全护栏等插件能力。

  • SaaS 模式:使用平台提供的云端服务,无需自行部署,注册后即可接入。
  • 混合部署模式:在企业内网部署专属 Token Gate,适合调用内网自建模型,或要求调用流量不出企业网络的场景。调用内网模型时,请求经 Token Gate 直达目标模型;相关处理服务也部署在企业网络内时,请求与响应内容可以保留在内网,只有配置、额度和用量等管理数据与云端控制台同步。若启用外部 Embedding、复杂度分类模型、安全审核模型或判定服务,相关文本仍会发送给这些服务,详见常见问题。

开始使用 ​

需要直接体验模型时,可从工作室开始对话;需要在 Claude Code、Codex 等客户端中使用时,参阅接入常用工具。

  • 成员与开发者:按照快速开始获取 API Key 并完成第一次调用。
  • 管理员:负责接入模型服务时,从供应商与模型开始配置。

接入、权限、额度、缓存和护栏方面的常见疑问,可查阅常见问题(FAQ)。