三个产品面。仅此而已。

在我们持有合同的所有上游模型之前架一层 OpenAI 兼容 HTTP API。任何已经能讲 /v1/chat/completions、/v1/embeddings 或 /v1/responses 的 SDK 都可以 drop-in 接入。

协议

OpenAI /v1（chat、responses、embeddings、images、audio、moderations）

厂商

OpenAI · Anthropic · Google · DeepSeek · Alibaba · Moonshot · Zhipu

鉴权

Bearer Token，按项目划分；每 Key 预算上限与 IP 白名单

流式

SSE；tool-calling 与 JSON-mode 在各厂商之间归一化

限流

默认 60 req/s；Pro 与 Enterprise 可解除

SLA

近 30 日 99.5%，按分钟在下期发票冲抵服务积分

• —我们不代理自己没有合同的 Key。Key Pool 全部来自我们美国主体下与 Azure / Anthropic / GCP / AWS 的一级企业合同。
• —厂商故障按 region 隔离。Claude us-east 出问题时，Claude eu-west 的请求在我们边缘上不会被波及。

传入 model="auto" 时，一个小型分类器会从意图、预期输出长度、是否需要工具/结构化输出几个维度给请求打分，然后挑出帕累托前沿上单价最低的模型。决策结果会写入响应头方便审计。

分类器

蒸馏后约 350M 参数，p50 增加 ~6 ms 延迟

信号

输入 Token · 估计输出 Token · 工具调用 · 结构化输出 · 提示语种 · 附件

前沿

基于内部评测每周更新（HumanEval+、MMLU-Pro-zh、BFCL、RULER-128k）

覆盖

model="auto:cheap" / "auto:strong" / "auto:cn-only" / "auto:no-anthropic"

响应头

x-cdgo-route, x-cdgo-score, x-cdgo-fallback, x-cdgo-cost-usd

回退

每条路由的有序回退链；最多 2 次重试，整体预算 30 s 后报错

• —对同一请求，路由结果是确定性的：相同 prompt + 相同模型别名，会落到同一上游，直到前沿配置文件被更新。
• —需要锁定单一厂商的工作流（例如把法律审阅固定在 claude-3.5-sonnet）只要传具体模型名即可，路由器会自动让路。

本地讲同一套 /v1 协议的小型推理硬件。本地能搞定的就留在楼里；搞不定的请求经可配置的 PII 脱敏后转发到云端网关，审计日志保留在机器内。

本地运行时

vLLM 0.7 · 可选 TensorRT-LLM · 兼容 Ollama 模型拉取

预装

DeepSeek-V3 (Q4_K_M), Qwen3-32B, Llama-3.3-70B-Instruct, bge-m3, jina-rerank-v2

溢出

可配置：不溢出 · OOM 时溢出 · 策略未命中时溢出；出网前先过 PII 脱敏器

身份

OIDC / SAML SSO；按项目、模型、预算粒度的 RBAC

审计

所有 prompt、completion、工具调用与花费均落地本地；可导出 S3 兼容存储或 syslog

形态

1U（Mini）、4U（Pro）、整机柜（Sovereign）；220 V 单相或 380 V 三相

• —硬件随机附带网关 License；软件经 CN-HZ 签名 OTA 升级，气隙站点可关闭。
• —国产化路线（昇腾 910B / 海光 DCU）也走同一套 /v1 接口；性能数据见一体机 datasheet。