清洗脏数据,直接让模型处理,它会随意发挥,每次结果都不一样。
我的做法:
- 先写规则脚本处理 80% 的确定性问题(去空格、统一日期格式、手机号校验)
- 剩下的 20% 疑难样本交给模型,让它判断类型
- 模型的判断结果落库,人工抽查
关键是第 1 步。规则能解决的别用模型,模型贵、慢、还不稳定。
模型适合处理:规则写不出来但人能一眼看出的情况。比如「这条地址是有效的吗」。
分工明确之后,成本降下来,准确率还高。
主楼- 暂无回复
继续逛逛
清洗脏数据,直接让模型处理,它会随意发挥,每次结果都不一样。
我的做法:
关键是第 1 步。规则能解决的别用模型,模型贵、慢、还不稳定。
模型适合处理:规则写不出来但人能一眼看出的情况。比如「这条地址是有效的吗」。
分工明确之后,成本降下来,准确率还高。