AI 服务回退链:多服务商容灾怎么排
配了不止一个服务后,应用会把你排的顺序当成一条自动容灾链:主力失败,顺延到下一个,直到有人接住。这个机制是它在多服务客户端里最实用的一块。
链条怎么走
- 已配置的服务实例按你拖动的顺序依次尝试
- 只有密钥有效的实例才会参与
- 一个实例内部:单次请求失败会自动重试最多 2 次(间隔递增)才判定该实例失败;工具调用循环中的每次请求独立重试,不会从头重放整个循环
- 全部失败才把最后一个错误显示给你
- 回退成功时,回答下方会标注「实际由某服务应答」,思考指示器也会实时显示当前尝试到哪家

排序的三个原则
- 主力在前:质量最好、额度最足的放第一
- 快而便宜居中:Groq、Cerebras 这类高速服务放中段接盘
- 免费档殿后:保持「作为回退」开启,让它兜最后一级
哪些错误不会被重试
有些错误重试也救不回来,应用会直接跳过当前实例进入下一个:
- 密钥无效、额度或配额耗尽
- 模型名不存在
- 请求被服务商判定为格式错误、超限或违反内容政策
- 对话历史超过该模型上下文窗口(链条上会直接跳过装不下的实例)
- 附件在本地就因大小或类型被拒
端侧模型的特殊待遇
本地模型(LiteRT)永远不会被当作回退目标,也不会默默吸收失败:它失败时整条链直接短路并报出真实错误,而不是悄悄把你切到某个云服务。云服务之间怎么互相兜底都不会惊动本地模型。
一句话:链条对「瞬时故障」有耐心(重试两次),对「结构性故障」果断(立即跳过)。与排序配合的免费渠道见免费密钥渠道。