人的感知阈值:

  • 200ms 以内:感觉是即时的
  • 200-500ms:能感觉到轻微延迟,但不影响节奏
  • 500ms-1s:明显等待,思路会被打断
  • 1s 以上:基本不会用,或者只在写注释时用

实测几个方案的首字延迟:本地小模型 80-150ms,云端小模型 300-600ms,云端大模型 800-1500ms。

所以补全用本地小模型,重构和解释用云端大模型,是合理的分工。

一个技巧:把常用的 import、类型定义做成片段模板,别让它每次都生成。重复的补全等于重复的延迟。

主楼