人的感知阈值:
- 200ms 以内:感觉是即时的
- 200-500ms:能感觉到轻微延迟,但不影响节奏
- 500ms-1s:明显等待,思路会被打断
- 1s 以上:基本不会用,或者只在写注释时用
实测几个方案的首字延迟:本地小模型 80-150ms,云端小模型 300-600ms,云端大模型 800-1500ms。
所以补全用本地小模型,重构和解释用云端大模型,是合理的分工。
一个技巧:把常用的 import、类型定义做成片段模板,别让它每次都生成。重复的补全等于重复的延迟。
主楼- 暂无回复
继续逛逛
人的感知阈值:
实测几个方案的首字延迟:本地小模型 80-150ms,云端小模型 300-600ms,云端大模型 800-1500ms。
所以补全用本地小模型,重构和解释用云端大模型,是合理的分工。
一个技巧:把常用的 import、类型定义做成片段模板,别让它每次都生成。重复的补全等于重复的延迟。