第一篇　立项与选型：为什么自己写爬虫

这是一本实战手记，记录我们团队用 Go 从零搭建分布式采集平台的全过程。起因很朴素：业务侧每天都想要行业公开页面的数据，一开始单机脚本够用，量上来之后单机扛不住、断点全丢、封禁频发，于是我们用 Go 重写了一套 master 负责任务调度与去重指纹库、worker 分片抓取的采集平台，原始快照压进对象存储 COS，清洗结果落云数据库 MySQL，控制台走 CDN 分发，任务健康度交给云监控。

本篇只谈一件事：动手之前把账算清。1.1 节拆解需求，搞清楚到底要采什么、采多快；1.2 节算清自研、colly 与托管采集服务之间的账；1.3 节评估机器投入，看轻量应用服务器到底够不够；1.4 节把 Go 库与云产品的地图对齐，哪些环节用开源库、哪些环节直接用云服务。读完这一篇，你会知道我们为什么走自研这条路，以及前期哪些决定在后面半年里真正省了钱。

如果你只关心实操，可以跳到第二篇单机原型；关心多机协作直接看第三篇；运维、反爬与成本的账集中在第五篇。书中用到的腾讯云官方文档入口统一在 1.4 节列出，正文提到时只写纯文本地址，方便复制。

延伸阅读