混合语言的文本直接处理,效果不稳定。

改进:先做语言检测,按语言分流,再分别处理。

好处:

  1. 提示词可以针对语言优化
  2. 可以选更擅长该语言的模型
  3. 术语表按语言分开维护

简单场景用规则判断(字符集占比),复杂场景用模型判断。

注意:检测本身会错,尤其是短文本和混合语言。置信度低的走通用处理,别硬分。

我的语料里中英混合最多,实际做法是按段落分,不按整篇分。

主楼