从模型输出里提取内容做匹配,怎么都匹配不上。看着一模一样。

原因:输出里有零宽空格(U+200B)和 BOM,肉眼不可见。

处理:

  1. 清洗:去掉零宽字符和 BOM
  2. 归一化:统一全角半角、统一换行符
  3. 匹配前先规范化

这个问题在处理网页抓取的内容时也常见。

现在我的文本处理管道第一步就是清洗不可见字符,省了很多奇怪的问题。

主楼