混合语言的文本直接处理,效果不稳定。
改进:先做语言检测,按语言分流,再分别处理。
好处:
- 提示词可以针对语言优化
- 可以选更擅长该语言的模型
- 术语表按语言分开维护
简单场景用规则判断(字符集占比),复杂场景用模型判断。
注意:检测本身会错,尤其是短文本和混合语言。置信度低的走通用处理,别硬分。
我的语料里中英混合最多,实际做法是按段落分,不按整篇分。
主楼- 暂无回复
继续逛逛
混合语言的文本直接处理,效果不稳定。
改进:先做语言检测,按语言分流,再分别处理。
好处:
简单场景用规则判断(字符集占比),复杂场景用模型判断。
注意:检测本身会错,尤其是短文本和混合语言。置信度低的走通用处理,别硬分。
我的语料里中英混合最多,实际做法是按段落分,不按整篇分。