先跑一周再谈价：零成本的对比测试方案

2026-11-12 · 测试 · 选型 · 方法

价格单看没有意义，因为不同模型在同一个任务上的表现差异，往往比价格差异更大。合理的顺序是：先确认「够用」，再比较「多少钱」。

测试集怎么搭

不要用随机问题做评测。从你自己的业务里抽 30 条真实请求，覆盖三类：最常见的主流请求、最难的长尾请求、最容易出错的边界请求。这三类各 10 条，比 300 条随机问题更有决策价值。

评价口径怎么定

定三个可以打勾的指标，而不是打分：是否可直接使用、是否需要人工改一遍、是否需要重跑。可打勾的指标不容易被主观印象带偏。

成本口径怎么定

记录每次请求的输入输出单位与实际耗时，换算成「跑完 30 条测试集花多少钱」。这个数字才是可以拿去比价的数字，官方单价不能。

一周的执行节奏

1. 周一：搭 30 条测试集，写好评价表。
2. 周二至周三：并行跑 3 到 4 个候选模型，同一批提示词。
3. 周四：把结果交叉评一遍，选出两个够用的。
4. 周五：只对这两个做成本测算与线路验证。

测试阶段尽量用同一把 Key、同一套 SDK 跑，避免把接入差异误判成模型差异。四套协议的对照写法在 协议对照 里；如果需要先把 Key 准备好，主站的控制台可以直接发放与管理，地址在 API 密钥管理。