数据校验

数据校验

数据校验项目openGauss-tools-datachecker-performance，分为check服务和extract服务。check服务用于数据校验，extract服务用于数据抽取和规整。

原理介绍

全量校验：

在全量数据迁移完成后，由extract服务对MySQL源端和openGauss目标端数据抽取然后规整，并将数据推送到kafka中。最后由check服务提取kafka中的数据，并进行校验且输出校验结果。

增量校验：

由debezium服务侦听源端MySQL数据库的增量数据，到指定topic。再由源端extract服务处理该topic增量数据，触发check增量校验。

环境准备

ARM+openEuler 20.03 或 X86+CentOS 5.7

工具源码安装

安装软件依赖：

jdk11 、git 、maven 、kafka、debezium（增量校验-源端connect） - 安装及操作步骤：

通过git命令下载源码。

1. git clone https://gitee.com/opengauss/openGauss-tools-datachecker-performance.git 2. 通过maven命令构建check 和 extract jar包

1. mvn clean package -Dmvnen.test.skip=true 3. 复制Jar包和confmvn clean package -Dmvnen.test.skip=trueig目录到指定部署目录下。 4. 配置相关配置config。
- 校验端配置文件application.yml：
1. server: 2. port: 9000 3. spring: 4. kafka: 5. bootstrap-servers: 192.168.0.114:9092 # kafka 集群地址 6. data: 7. check: 8. data-path: D:\code\tool # 配置数据校验结果输出本地路径 9. bucket-expect-capacity: 10 # 桶容量范围最小值为1 10. source-uri: http://127.0.0.1:9002 # 配置源端服务地址和服务端口server.port 11. sink-uri: http://127.0.0.1:9001 # 配置源端服务地址和服务端口server.port - 抽取端-源端配置 application-source.yml：

1. server: 2. port: 9002 3. spring: 4. check: 5. server-uri: http://127.0.0.1:9000 # 数据校验服务地址 6. extract: 7. schema: test # 源端数据实例 8. databaseType: MS # 源端数据库类型 MS mysql 9. debezium-enable: false #是否开启增量debezium配置默认不开启 10. debezium-topic:topic # debezium监听表增量数据，使用单一topic进行增量数据管理 11. debezium-groupId: debezium-extract-group # d debezium增量迁移topic ，groupId消费Group设置 12. debezium-topic-partitions: 1 # debezium监听topic 分区数量配置 13. debezium-tables: # debezium-tables配置debezium监听的表名称列表; 该配置只在源端服务配置并生效 14. table1, 15. table2 16. debezium-time-period: 1 # debezium增量迁移校验时间周期 24*60 单位分钟 17. debezium-num-period: 1000 #debezium增量迁移校验统计增量变更记录数量阀值，默认值1000 阀值应大于100 18. datasource: 19. druid: 20. dataSourceOne: 21. driver-class-name: com.mysql.cj.jdbc.Driver 22. url: jdbc:mysql://127.0.0.1:3306/test?useSSL=false&useUnicode=true&characterEncoding=utf-8&serverTimezone=UTC&allowPublicKeyRetrieval=true 23. username: jack # 源端mysql用于校验的用户名称 24. password: test@123 # 源端mysql用于校验的用户名称密码 - 抽取端-目标端配置 application-sink.yml：

1. server: 2. port: 9001 3. spring: 4. check: 5. server-uri: http://127.0.0.1:9000 # 数据校验服务地址 6. extract: 7. schema: test # 宿端opengauss 用于校验数据schema 8. databaseType: OG # 宿端数据库类型 OG opengauss 9. datasource: 10. druid: 11. dataSourceOne: 12. driver-class-name: org.opengauss.Driver 13. # 宿端opengauss用于校验数据库链接地址 14. url: jdbc:opengauss://127.0.0.1:15432/test?useSSL=false&useUnicode=true&characterEncoding=utf-8&serverTimezone=UTC&batchMode=OFF 15. username: jack # 宿端opengauss用于校验的用户名称 16. password: test@123 # 宿端opengauss用于校验的用户名称密码 5. 启动服务。
- zookeeper启动。
1. cd /data/kafka/confluent-7.2.0 2. bin/zookeeper-server-start -daemon etc/kafka/zookeeper.properties - kafka启动。

1. bin/kafka-server-start.sh -daemon etc/kafka/server.properties - connect debezium连接器启动（增量校验要求启动），mysql-conect.properties为配置debezium连接器配置文件。

1. bin/connect-standalone -daemon etc/kafka/connect-standalone.properties etc/kafka/mysql-conect.properties 6. 启动抽取校验服务。

1. sh extract-endpoints.sh stat|restart|stop 2. sh check-endpoint.sh stat|restart|stop 7. 执行如下命令进行全量校验。

1. curl -X 'POST' 'http://localhost:9000/start/check?checkMode=FULL' -H 'accept: */*' -d ''

全量校验环境清理：

1. curl -X 'POST' 'http://localhost:9000/stop/clean/check' -H 'accept: */*' -d '' 8. 启动增量校验（通过修改源端配置文件启动）。

1. debezium-enable: true 2. 并配置其他debezium-相关配置，启动服务即可开启增量校验服务。

工具二进制安装

通过如下链接下载压缩包并解压，并配置相关配置文件，通过shell脚本即可启动服务。具体配置信息和操作步骤可参考源码安装部分。

1. https://opengauss.obs.cn-south-1.myhuaweicloud.com/3.1.1/tools/openGauss-datachecker-performance-3.1.0.tar.gz
2. tar -zxvf openGauss-datachecker-performance-3.1.0.tar.gz

解压目录包含：

datachecker-check-0.0.1.jar：校验服务Jar
datachecker-extract-0.0.1.jar：抽取服务Jar

config目录包含：

application.yml：校验端配置文件
application-source.yml：源端配置文件
application-sink.yml：目标端配置文件
check-endpoint.sh：校验服务启动脚本
extract-endpoints.sh：源端和目的端数据抽取服务启动脚本

卸载工具

删除对应JAR包，及相关配置文件即可。

注意事项

JDK版本应为11+。
当前版本仅支持源端MySQL与目标端openGauss之间数据校验。
当前版本只支持数据校验，不支持表对象校验。
当前版本不支持地理位置数据校验。
MySQL需要5.7及以上版本。