目标:订阅的 60 个源,自动清洗、去重、打标签、入库,随时能搜。
管道:
- n8n 每小时拉 RSS,统一成 {title, url, content, published}
- 正文抽取用 readability 类的库,失败就保留摘要
- 去重:URL 规范化 + 标题 trigram 相似度 > 0.85 视为重复
- 打标签:小模型,给固定标签集让它选(不要开放生成,会越跑越散)
- 入库:SQLite + FTS5,够用,几万条检索毫秒级
- 每周日跑一次「本周精选」,用旗舰模型从本周条目里挑 10 条,写摘要
成本:每月不到 20 块。
关键设计:全流程幂等。任何一步重跑都不会产生重复数据,靠 URL 的 hash 做唯一键。没有这个,出一次错就要人工清库。
主楼- 暂无回复
继续逛逛