最近 OpenAI 出现稳定性波动后,我一直在想一个问题:中转站所谓的“高可用”,到底能做到哪一层?
很多方案会准备多账号、多机房、多线路,甚至把调度系统做得很复杂。但如果这些资源最终都指向同一个上游,那么它们解决的主要是账号限流、区域网络和本地节点故障;一旦最上游本身异常,所有同源冗余仍然可能一起失效。
真正更接近高可用的方向,也许是:
1. 上游来源彼此独立,而不只是同一厂商下的多个账号;
2. 应用层能够在不同模型之间降级和切换;
3. 统一接口只是入口,背后要有可观测、可回退的多供应商调度;
4. 明确区分“同模型冗余”和“能力级冗余”,后者才更能应对上游级故障。
这也会带来新的问题:不同模型输出质量不一致、工具调用协议不同、缓存难共享,成本和治理复杂度都会上升。所以“完全不宕机”不现实,关键是故障时还能保留多少可用能力,以及用户是否能理解当前发生了什么。
我把这些想法整理成了一段视频,内容属于个人观察和猜测,欢迎大家讨论:
https://youtu.be/uecNojFgkf0
这家伙太懒了,什么也没留下。
给楼主投上 1 枚硬币
当前您的硬币余额:0