第三篇 流量治理

接入层把门看好之后,网关要解决的是流量本身的脾气:高峰冲过来怎么办,后端挂了怎么办,热点怎么扛,新版本怎么放量。这篇是整本书里最热闹的一篇,因为限流、熔断、缓存、灰度四个模块天天都在和真实流量过招。

本篇四节对应四道闸门。第 3.1 节讲限流设计,令牌桶为什么打赢漏桶,Lua 脚本怎么保证多机一致;第 3.2 节讲熔断降级,后端挂了网关该怎么自保,降级出口怎么设计才不误伤;第 3.3 节讲缓存层,热点响应怎么缓存、缓存穿透与雪崩怎么堵;第 3.4 节讲灰度发布,按调用方放量整套流程怎么跑。四道闸门串起来就是完整的流量治理链路,配合第四篇的可观测性,网关才算有了眼睛。

写这篇时我们的心态是:限流熔断治的是病,缓存灰度养的是身,一个网关的品质全看流量治理做得细不细。建议读者按顺序读,因为四个模块之间互相依赖:限流知道是谁,熔断知道后端怎样,缓存知道答没答过,灰度知道放谁进来,缺一个另外三个都会漏风。

延伸阅读