把「对接模型」这件事从业务代码里彻底剥离出来
OpenAI、Anthropic、Gemini 各有各的请求格式。Termiio 在网关层做协议翻译,你只需要写一种格式。
主模型超时 → 自动切到备选 → 再不行换供应商。整个过程对调用方透明。
每笔请求花费精确到小数点后四位。按团队、项目、模型三维拆账,支持预算告警。
主 Key 派生子 Key,限定模型、RPM、预算上限。适合 SaaS 平台分发能力。
Prompt 注入扫描、PII 自动脱敏、自定义规则引擎,让合规团队睡个好觉。
令牌桶排队 + 请求整形,把突发尖峰削平,避免 429 错误打断业务流。
控制台管理 Prompt 模板,支持灰度发布和 A/B 对比,改 Prompt 不用重新部署。
Function Calling / Tool Use / Gemini 工具调用,网关做协议转换,Agent 代码写一次就够。
Docker 镜像拉下来就能跑。数据留在你自己的网络内,满足金融、医疗、政务场景。
注册后控制台会生成一个 sk-termiio-* 格式的 Key。把你已有的供应商 Key 录入进来,或者直接用 Termiio 的共享资源池。
把代码里的 api.openai.com 换成 api.termiio.dev,其他什么都不用动。Python、Node、Go、Java、cURL 全部适用。
Dashboard 里每笔请求的模型、耗时、花费一清二楚。觉得某个模型太贵?配一条路由规则,下次自动走更便宜的。
选个模型,输入 Prompt,点击发送。不用写代码,直接感受 Termiio 的能力
不是简单的字符串匹配。Termiio 用向量相似度识别语义相近的请求,命中缓存后直接返回结果——延迟从秒级降到毫秒级,Token 费用直接归零。
不是事后对账单,是每一笔请求的实时流水
如果你已经在用 OpenAI 的 SDK,把 base_url 指向 Termiio 就行了。不需要装新依赖,不需要改调用逻辑。
import openai
client = openai.OpenAI(
api_key="sk-termiio-xxxxxxxx",
base_url="https://api.termiio.dev/v1"
)
# 随时切换模型,无需修改其他代码
response = client.chat.completions.create(
model="gpt-4o", # 或 claude-sonnet-4, deepseek-v3...
messages=[
{"role": "system", "content": "你是一个有帮助的助手"},
{"role": "user", "content": "用 Python 写一个快速排序"}
],
stream=True
)
for chunk in response:
print(chunk.choices[0].delta.content, end="")
不用注册十个平台拿十把 Key。在这里挑模型,像挑商品一样直观
简单寒暄走 DeepSeek 省钱,涉及退款投诉自动升级到 Claude 处理。一条路由规则搞定。
规划步骤用推理模型,执行工具调用用快模型,总结输出用便宜模型。切换模型像换参数一样简单。
一次要生成 5000 篇商品描述?Termiio 把请求分散到多个供应商,吞吐量翻倍。
Embedding 和 Chat 走同一个端点。用 text-embedding-3 做向量化,用 GPT-4o 做生成。
| 直连各供应商 API | 通过 Termiio | |
|---|---|---|
| 接入新模型 | 注册账号 → 申请 Key → 读文档 → 写适配代码 | 改一个 model 参数 |
| 故障切换 | 自己写重试逻辑和 Fallback 链 | 网关自动处理,调用方无感 |
| 成本追踪 | 登录 N 个后台分别查账单 | 一个 Dashboard 看所有花费 |
| Tool Use 格式 | 每家格式不同,逐个适配 | 统一格式,网关做协议翻译 |
| 请求缓存 | 自己搭 Redis + 写匹配逻辑 | 内置语义缓存,开箱即用 |
| 安全合规 | 每个供应商单独配置 | 统一防火墙 + PII 脱敏 |
"之前每接一个新模型就要写一套适配代码,现在改个 model 字符串就行了。上线第一周就靠语义缓存省了 40% 的 Token 费。"
"我们的 Agent 需要同时调 GPT-4o 做规划、DeepSeek 做执行。以前要维护两套 SDK,现在一个端点全搞定。"
"成本看板太好用了。之前月底才知道花了多少钱,现在实时能看到每个项目、每个模型的花费。"
模型调用费用透传,Termiio 只收网关服务费。免费版够你跑通 MVP
适合个人开发者探索和原型验证
适合成长中的团队和正式产品
适合大规模部署和定制化需求
Termiio 是一个 API 网关层,兼容 OpenAI 格式。你通过 Termiio 可以用同一套代码访问 200+ 模型,同时获得统一的成本监控、智能路由、容灾切换、安全护栏等生产级能力。
网关层附加延迟 < 50ms(全球边缘节点)。相比 LLM 本身动辄数百毫秒到数秒的响应时间,几乎可以忽略不计。
所有供应商 API Key 使用 AES-256 加密存储,传输全程 TLS 1.3。我们不存储任何请求/响应内容。企业版支持私有化部署。
完全兼容 OpenAI API 格式,任何支持 OpenAI SDK 的语言都可以直接使用——Python、Node.js、Go、Java、Rust、Ruby、PHP 等。
免费版每月包含 500K tokens。超出后按各模型的标准价格计费。专业版包含 10M tokens,超出部分享受 9 折优惠。所有费用在 Dashboard 实时可见。