第二篇 单机原型:先把流程跑通
选型和机器都定了,这一篇我们回到写代码本身。目标很明确:在一台轻量应用服务器上,用 Go 跑通从种子页到结构化结果的完整链路,先不碰多机、先不碰高可用。
本篇四章对应单机原型的四个关键环节:2.1 节写最小爬虫,从种子页出发拿到第一条结果;2.2 节建 URL 仓库,解决去重与队列这两个最容易让单机脚本失控的问题;2.3 节设计 MySQL 表结构,把清洗结果落库;2.4 节把原始 HTML 快照压进 COS,给数据留证据、给规则升级留重放能力。每节都附官方文档入口与可复用的代码片段,方便照做。
单机阶段有一条原则我们刻意坚持:代码按以后能拆的方式写,但部署先是一台机器。调度逻辑和抓取逻辑放在不同的包里,通信走进程内接口而不是全局变量——这样第三篇拆 master 和 worker 时,改动是移动文件而不是重写逻辑。如果你时间有限,2.2 的去重设计和 2.3 的表结构是本篇最值得细读的两节。
