第四篇 数据出口:从采集到可用
采集平台的价值不在有多少数据,而在数据能不能被用起来。前三篇我们把数据抓回来、存下来、跑稳了,但回过头问业务方:你们平时怎么用?答案是 SSH 上去导 CSV,或者等我们手动跑一个脚本发邮件。这个答案让我们意识到,平台还缺最后一公里:数据出口。
这一篇讲数据怎么从原始快照变成业务可直接消费的结构化结果。4.1 节讲清洗与结构化,Go 管道加一套规则 DSL,让清洗规则不再写死在代码里;4.2 节讲数据导出,API、CSV 与 webhook 三条出口怎么设计;4.3 节讲控制台,把任务管理从命令行搬上浏览器;4.4 节讲 CDN 加速,控制台的静态资源与实践指南类页面如何走内容分发网络。
清洗是整篇的枢纽:原始 HTML 是一坨泥,清洗规则就是模具。模具的设计决定了后面所有出口的形状。如果你只读一节,读 4.1。控制台与 CDN 则是门面功课,看着不起眼,却是业务方对平台的全部印象。
