任务:给定 5 个工具,20 个需要调用工具的问题,看正确调用的比例。

结果:

  • 大部分模型能到 85% 以上
  • 差距主要在「什么时候不该调用」。该直接回答时硬要调工具,或者该调 A 调了 B
  • 参数格式错误率普遍低于 5%,这块都做得不错

意外的是:工具描述写得好不好,影响比模型差异还大。同一模型换个描述,成功率能差 20 个点。

结论:与其纠结选哪个模型,不如先把工具描述写清楚。描述里写触发场景、参数范围、返回什么,这三样写全,效果立竿见影。

主楼