用过几家,也自己搭过。判断一个中转站靠不靠谱,我看这五点:
- 模型真实性
拿一段有标准答案的复杂推理题测,不同模型表现差异明显。价格低得离谱的(官方价一折以下)基本要怀疑模型替换。
- 计费透明度
能不能看到每次调用的 input/output token 明细。看不到明细的,账单永远算不清。
- 错误码是否透传
上游 429、500 是不是原样返回。有的站统一包一层 200,客户端无法做重试,这种直接弃用。
- 流式稳定性
长输出跑到一半断不断。测法:让它输出 5000 字,看尾部是否完整。
- 数据条款
有没有明确说不留存请求内容。写代码的场景这条最重要,代码里全是内部逻辑。
价格排第六。省下来的钱,抵不上一次数据泄露或者一次线上事故。
主楼请问这招在 Windows 下也适用吗?还是只限 Linux。
想问下样本量多少,几十条的话结论可能不稳。
有个疑问:这样做的话 token 消耗会不会反而变高?
继续逛逛