清洗脏数据,直接让模型处理,它会随意发挥,每次结果都不一样。

我的做法:

  1. 先写规则脚本处理 80% 的确定性问题(去空格、统一日期格式、手机号校验)
  2. 剩下的 20% 疑难样本交给模型,让它判断类型
  3. 模型的判断结果落库,人工抽查

关键是第 1 步。规则能解决的别用模型,模型贵、慢、还不稳定。

模型适合处理:规则写不出来但人能一眼看出的情况。比如「这条地址是有效的吗」。

分工明确之后,成本降下来,准确率还高。

主楼