TiDB Data Migration Binlog 事件过滤

TiDB Data Migration (DM) 的 Binlog 事件过滤 (Binlog event filter) 是比迁移表黑白名单更加细粒度的过滤规则，可以指定只迁移、过滤、或者拦截并报错某些 schema / table 的指定类型 binlog，比如 INSERT 和 TRUNCATE TABLE。

配置 Binlog 事件过滤

在迁移任务配置文件中，添加如下配置：

1. filters:
2. rule-1:
3. schema-pattern: "test_*"
4. ​table-pattern: "t_*"
5. ​events: ["truncate table", "drop table"]
6. sql-pattern: ["^DROP\\s+PROCEDURE", "^CREATE\\s+PROCEDURE"]
7. ​action: Ignore

从 DM v2.0.2 开始，你也可以在上游数据库配置文件中配置 Binlog 事件过滤。见上游数据库配置文件介绍。

使用通配符匹配库表名时，注意以下事项：

• schema-pattern 和 ​table-pattern 仅支持通配符，支持的通配符包括 *、? 和 []。注意通配符匹配中的 * 符号只能有一个，且必须在末尾。例如 table-pattern: "t_*" 中的 "t_*" 表示以 t_ 开头的表。详情请参考通配符匹配。
• sql-pattern 仅支持正则表达式。

参数解释

• schema-pattern/table-pattern：对匹配上的上游 MySQL/MariaDB 实例的表的 binlog events 或者 DDL SQL 语句通过以下规则进行过滤。
• events：binlog events 数组，仅支持从以下 Event 中选择一项或多项。

• Do：白名单。binlog event 如果满足下面两个条件之一就会被过滤掉：
  • 不在该 rule 的 events 中。
  • 如果规则的 sql-pattern 不为空的话，对应的 SQL 没有匹配上 sql-pattern 中任意一项。
• Ignore：黑名单。如果满足下面两个条件之一就会被过滤掉：
  • 在该 rule 的 events 中。
  • 如果规则的 sql-pattern 不为空的话，对应的 SQL 可以匹配上 sql-pattern 中任意一项。
• Error：报错名单。如果满足下面两个条件之一就会报错：
  • 在该 rule 的 events 中。
  • 如果规则的 sql-pattern 不为空的话，对应的 SQL 可以匹配上 sql-pattern 中任意一项。
• 同一个表匹配上多个规则时，将会按顺序依次应用这些规则，并且黑名单的优先级高于报错名单，报错名单的优先级高于白名单，即如果同时存在规则 Ignore 和 Error 应用在某个表上，那么 Ignore 生效；如果同时存在规则 Error 和 Do 应用在某个表上，那么 Error 生效。

使用示例

过滤分库分表的所有删除操作

需要设置下面两个 Binlog event filter rule 来过滤掉所有的删除操作：

• filter-table-rule 过滤掉所有匹配到 pattern test_*.t_* 的 table 的 turncate table、drop table、delete statement 操作。
• filter-schema-rule 过滤掉所有匹配到 pattern test_* 的 schema 的 drop database 操作。

1. filters:
2. filter-table-rule:
3. schema-pattern: "test_*"
4. table-pattern: "t_*"
5. events: ["truncate table", "drop table", "delete"]
6. action: Ignore
7. filter-schema-rule:
8. schema-pattern: "test_*"
9. events: ["drop database"]
10. action: Ignore

只迁移分库分表的 DML 操作

需要设置下面两个 Binlog event filter rule 只迁移 DML 操作：

• do-table-rule 只迁移所有匹配到 pattern test_*.t_* 的 table 的 create table、insert、update、delete 操作。
• do-schema-rule 只迁移所有匹配到 pattern test_* 的 schema 的 create database 操作。

注意

迁移 create database/table 的原因是创建库和表后才能迁移 DML。

1. filters:
2. do-table-rule:
3. schema-pattern: "test_*"
4. table-pattern: "t_*"
5. events: ["create table", "all dml"]
6. action: Do
7. do-schema-rule:
8. schema-pattern: "test_*"
9. events: ["create database"]
10. action: Do

过滤 TiDB 不支持的 SQL 语句

可设置如下规则过滤 TiDB 不支持的 PROCEDURE 语句：

1. filters:
2. filter-procedure-rule:
3. schema-pattern: "test_*"
4. table-pattern: "t_*"
5. sql-pattern: ["^DROP\\s+PROCEDURE", "^CREATE\\s+PROCEDURE"]
6. action: Ignore

过滤 TiDB parser 不支持的 SQL 语句

对于 TiDB parser 不支持的 SQL 语句，DM 无法解析获得 schema/table 信息，因此需要使用全局过滤规则：schema-pattern: "*"。

注意

全局过滤规则的设置必须尽可能严格，以避免过滤掉需要迁移的数据。

可设置如下规则过滤某些版本的 TiDB parser 不支持的 PARTITION 语句：

1. filters:
2. filter-partition-rule:
3. schema-pattern: "*"
4. sql-pattern: ["ALTER\\s+TABLE[\\s\\S]*ADD\\s+PARTITION", "ALTER\\s+TABLE[\\s\\S]*DROP\\s+PARTITION"]
5. action: Ignore

对部分 DDL 语句报错

如需在 DM 同步上游业务数据到 TiDB 之前对部分 DDL 语句进行拦截并报错，可采用如下设置：

1. filters:
2. filter-procedure-rule:
3. schema-pattern: "test_*"
4. table-pattern: "t_*"
5. events: ["truncate table", "truncate table partition"]
6. action: Error