测试任务:读文件、改文件、执行命令、联网搜索四类操作各 20 次。

观察到的差异主要在错误处理:

  • 有的客户端工具失败后会重试一次再报错,体感好很多
  • 有的工具失败静默跳过,最后假装完成了
  • 有的把工具输出全量塞回上下文,几轮之后爆掉

成功率本身差不多,都是八成到九成。差别在失败之后怎么办。

选客户端我最看这条:失败是不是显式的、能不能看到原始错误、能不能中断。

功能多不多其实次要。工具调用出问题时能不能查,决定了你一天的心情。

主楼