前言

MariaDB MaxScale 是一款数据库中间件，可以按照语义分发语句到多个数据库服务器上。它对应用程序透明，可以提供读写分离、负载均衡和高可用服务。

proxy protocol 是 MaxScale 引入，为了解决使用proxy作为中间件连接mysql时，mysql获取client ip用 client通过proxy中间价连接mysql时，mysql server接收到认证报文中，包含的是proxy节点的IP。如果mysql.user表中指定了client的IP，无法通过认证。

一种传统处理方式是在proxy节点上保存client的ip和密码，用于client的认证，而在mysql server上使用另一套ip和密码用于proxy 节点到mysql server的认证。

MariaDB MaxScale引入了proxy protocol来解决client ip透传的问题。proxy节点获取到client ip后，把client ip包装在proxy protocol报文中发给server，server解析到了proxy protocol报文，再用报文中的ip替换proxy节点的ip

因为 proxy protocol 本身不包含鉴权，同时可能影响数据库的鉴权行为，所以在数据库 server 端设置了一个ip白名单，只有白名单ip发送的 proxy protocol 报文才会被接受。

mysql连接与认证过程和网络模块数据结构可以参考以前的月报

MySQL · 源码分析 · 连接与认证过程

MySQL · 源码分析 · 网络通信模块浅析

报文格式

proxy protocol 有两个版本 v1 和 v2 通过报文签名区分

v1

v1 报文是字符串形式 “PROXY %s %s %s %d %d”

v2

客户端改造

MaxScale 使用场景下，Proxy Protocol Header 由 MaxScale 发送，这里暂不分析

MariaDB 为了测试，也改造了 client，可以通过 mysql_option 设置 Proxy Protocol

使用方法：在mysql_real_connect之前，调用 mysql_option

mysql_optionsv(mysql, MARIADB_OPT_PROXY_HEADER, header_data, header_lengths);

第一个参数是 MYSQL 句柄，第二个参数是 PROXY_HEADER 标志位，第三个参数是 Proxy Protocol Header，第四个参数是 Header length

Proxy Protocol Header 按照上述规则传入即可

1. /* st_mysql_options_extension 结构体对应 mysql->options->extension */
2. struct st_mysql_options_extension {
3. ...

5. /*  */
6. char *proxy_header;
7. size_t proxy_header_len;
8. }

10. int
11. mysql_optionsv(MYSQL *mysql,enum mysql_option option, ...)
12. {
13. ...
14. switch (option) {
15. case MARIADB_OPT_PROXY_HEADER:
16. {
17. size_t arg2 = va_arg(ap, size_t);
18. /* 把 proxy_header 和 proxy_header_len 保存到extension中 */
19. OPT_SET_EXTENDED_VALUE(&mysql->options, proxy_header, (char *)arg1);
20. OPT_SET_EXTENDED_VALUE(&mysql->options, proxy_header_len, arg2);
21. }
22. break;
23. }
24. }

26. /*
27. mysql_real_connect 过程中发送 proxy header
28. 发送时机在建连后，接收挑战码之前
29. 这样在鉴权时可以使用 proxy header 中保存的 ip port
30. */
31. MYSQL *mthd_my_real_connect(MYSQL *mysql, const char *host, const char *user,
32. const char *passwd, const char *db,
33. uint port, const char *unix_socket, unsigned long client_flag)
34. {
35. ...

37. /* 如果extension中保存了 proxy_header，则把header发送给server */
38. if (mysql->options.extension && mysql->options.extension->proxy_header)
39. {
40. char *hdr = mysql->options.extension->proxy_header;
41. size_t len = mysql->options.extension->proxy_header_len;
42. if (ma_pvio_write(pvio, (unsigned char *)hdr, len) <= 0)
43. {
44. ma_pvio_close(pvio);
45. goto error;
46. }
47. }
48. }

服务端改造

我们知道，server 通过对比自己的 net->pkt_nr 和 client 发送过来的 net->pkt_nr 来保证包没有乱序。而proxy header 没有包含正确的 pkt_nr，就可以通过判断 pkt_nr 乱序来识别 proxy header。

对于一对client和server线程，pkt_nr是共享的。

假设 server 发送的第一个包 pkt_nr == 1，下一个包是 client 回包 pkt_nr == 2，那么server再发给client 的包 pkt_nr == 3 以此类推。

1. /*
2. 正常的 mysql 都包含4字节 header，前三字节是size，第四字节是 pkt_nr
3. */
4. my_bool my_net_write(NET *net, const uchar *packet, size_t len)
5. {
6. ...

8. /* 如果大于最大包长度，则分成多个包发送 */
9. while (len >= MAX_PACKET_LENGTH)
10. {
11. const ulong z_size = MAX_PACKET_LENGTH;
12. /* 前三个字节保存size */
13. int3store(buff, z_size);
14. /* 第四字节保存pkt_nr */
15. buff[3]= (uchar) net->pkt_nr++;
16. if (net_write_buff(net, buff, NET_HEADER_SIZE) ||
17. net_write_buff(net, packet, z_size))
18. {
19. MYSQL_NET_WRITE_DONE(1);
20. return 1;
21. }
22. packet += z_size;
23. len-=     z_size;
24. }
25. /* Write last packet */
26. int3store(buff,len);
27. buff[3]= (uchar) net->pkt_nr++;

29. ...
30. }

33. /* my_real_read 里面处理 proxy header */
34. static ulong
35. my_real_read(NET *net, size_t *complen,
36. my_bool header __attribute__((unused)))
37. {
38. retry:
39. /* 收到的包不满足 pkt_nr 约束，可能是 proxy header，跳转到 packets_out_of_order */
40. if (net->buff[net->where_b + 3] != (uchar) net->pkt_nr)
41. goto packets_out_of_order;

43. packets_out_of_order:
44. /*
45. 判断是否是 proxy protocol header
46. 判断标准是报文前几位是否符合 proxy protocol header 的 signature
47. 前面已经提到
48. v1 signature 五字节：PROXY
49. v2 signature 12字节：\x0D\x0A\x0D\x0A\x00\x0D\x0A\x51\x55\x49\x54\x0A
50. */
51. if (has_proxy_protocol_header(net)
52. && net->thd &&
53. ((THD *)net->thd)->get_command() == COM_CONNECT)
54. {
55. /* Proxy information found in the first 4 bytes received so far.
56. Read and parse proxy header , change peer ip address and port in THD.
57. */
58. /* 处理 proxy header，修改 THD 中的 ip port */
59. if (handle_proxy_header(net))
60. {
61. /* error happened, message is already written. */
62. len= packet_error;
63. goto end;
64. }

66. /* proxy protocol header 处理成功，跳到函数头重新读取 */
67. goto retry;
68. }

70. static int handle_proxy_header(NET *net)
71. {
72. /*
73. 判断 proxy protocol header 的来源 ip 是否在白名单中
74. 白名单是一个全局变量 proxy_protocol_networks
75. 白名单 ip 以逗号分隔保存在全局变量中
76. */
77. if (!is_proxy_protocol_allowed((sockaddr *)&(thd->net.vio->remote)))
78. {
79. /* proxy-protocol-networks variable needs to be set to allow this remote address */
80. my_printf_error(ER_HOST_NOT_PRIVILEGED, "Proxy header is not accepted from %s",
81. MYF(0), thd->main_security_ctx.ip);
82. return 1;
83. }

85. /*
86. 根据格式解析 proxy protocol header，格式在上文中已做介绍
87. 解析结果保存在 peer_info 中
88. */
89. if (parse_proxy_protocol_header(net, &peer_info))
90. {
91. /* Failed to parse proxy header*/
92. my_printf_error(ER_UNKNOWN_ERROR, "Failed to parse proxy header", MYF(0));
93. return 1;
94. }

96. /* Change peer address in THD and ACL structures.*/
97. /* 将 peer_info 中的信息转存到 thd 中 */
98. return thd_set_peer_addr(thd, &(peer_info.peer_addr), NULL, peer_info.port, false);
99. }

原文：http://mysql.taobao.org/monthly/2019/01/07/