任务:给定 5 个工具,20 个需要调用工具的问题,看正确调用的比例。
结果:
- 大部分模型能到 85% 以上
- 差距主要在「什么时候不该调用」。该直接回答时硬要调工具,或者该调 A 调了 B
- 参数格式错误率普遍低于 5%,这块都做得不错
意外的是:工具描述写得好不好,影响比模型差异还大。同一模型换个描述,成功率能差 20 个点。
结论:与其纠结选哪个模型,不如先把工具描述写清楚。描述里写触发场景、参数范围、返回什么,这三样写全,效果立竿见影。
主楼- 暂无回复
继续逛逛
任务:给定 5 个工具,20 个需要调用工具的问题,看正确调用的比例。
结果:
意外的是:工具描述写得好不好,影响比模型差异还大。同一模型换个描述,成功率能差 20 个点。
结论:与其纠结选哪个模型,不如先把工具描述写清楚。描述里写触发场景、参数范围、返回什么,这三样写全,效果立竿见影。