§ gt-checksum

§ 关于 gt-checksum

gt-checksum 是 GreatSQL 社区开源的一款静态数据库校验修复工具，支持 MySQL、Oracle 等主流数据库。

§ 特性

MySQL DBA最常用的数据校验&修复工具应该是 Percona Toolkit 中的 pt-table-checksum 和 pt-table-sync 这两个工具，不过这两个工具并不支持MySQL MGR架构，以及国内常见的上云下云业务场景，还有MySQL、Oracle间的异构数据库等多种场景。

GreatSQL 开源的 gt-checksum 工具可以满足上述多种业务需求场景，解决这些痛点。

gt-checksum工具支持以下几种常见业务需求场景：

MySQL主从复制：主从复制中断后较长时间才发现，且主从间差异的数据量太多，这时候通常基本上只能重建复制从库，如果利用pt-table-checksum先校验主从数据一致性后，再利用pt-table-sync工具修复差异数据，这个过程要特别久，时间代价太大。
MySQL MGR组复制：MySQL MGR因故崩溃整个集群报错退出，或某个节点异常退出，在恢复MGR集群时一般要面临着先检查各节点间数据一致性的需求，这时通常为了省事会选择其中一个节点作为主节点，其余从节点直接复制数据重建，这个过程要特别久，时间代价大。
上云下云业务场景：目前上云下云的业务需求很多，在这个过程中要进行大量的数据迁移及校验工作，如果出现字符集改变导致特殊数据出现乱码或其他的情况，如果数据迁移工具在迁移过程中出现bug或者数据异常而又迁移成功，此时都需要在迁移结束后进行一次数据校验才放心。
异构迁移场景：有时我们会遇到异构数据迁移场景，例如从Oracle迁移到MySQL，通常存在字符集不同，以及数据类型不同等情况，也需要在迁移结束后进行一次数据校验才放心。
定期校验场景：作为DBA在维护高可用架构中为了保证主节点出现异常后能够快速放心切换，就需要保证各节点间的数据一致性，需要定期执行数据校验工作。

以上这些场景，都可以利用 gt-chcksum 工具来满足。

§ 下载

可以这里 (opens new window) 下载预编译好的二进制文件包，已经在Ubuntu、CentOS、RHEL等多个下测试通过。

如果需要校验Oracle数据库，则还需要先下载Oracle数据库相应版本的驱动程序，并配置驱动程序使之生效。例如：待校验的数据库为Oracle 11-2，则要下载Oracle 11-2的驱动程序，并使之生效，否则连接Oracle会报错。详细方法请见下方内容：下载配置Oracle驱动程序。

§ 快速运行

# 不带任何参数
$ ./gt-checksum
If no parameters are loaded, view the command with --help or -h

# 查看版本号
$ ./gt-checksum -v
gt-checksum version 1.2.1

# 查看使用帮助
$ ./gt-checksum -h
NAME:
   gt-checksum - A opensource table and data checksum tool by GreatSQL

USAGE:
   gt-checksum [global options] command [command options] [arguments...]
...

# 数据库授权
# 想要运行 gt-checksum 工具，需要至少授予以下几个权限
# MySQL端
# 1.全局权限
#  a.`REPLICATION CLIENT`
#  b.`SESSION_VARIABLES_ADMIN`，如果是MySQL 8.0版本的话，MySQL 5.7版本不做这个要求
# 2.校验数据对象
#  a.如果`datafix=file`，则只需要`SELECT`权限
#  b.如果`datafix=table`，则需要`SELECT、INSERT、DELETE`权限，如果还需要修复表结构不一致的情况，则需要`ALTER`权限
#
# 假设现在要对db1.t1做校验和修复，则可授权如下

greatsql> GRANT REPLICATION CLIENT, SESSION_VARIABLES_ADMIN ON *.* to ...;
greatsql> GRANT SELECT, INSERT, DELETE ON db1.t1 to ...;

# Oracle端
# 1.全局权限
#  a.`SELECT ANY DICTIONARY`
# 2.校验数据对象
#  a.如果`datafix=file`，则只需要`SELECT ANY TABLE`权限
#  b.如果`datafix=table`，则需要`SELECT ANY TABLE、INSERT ANY TABLE、DELETE ANY TABLE`权限

# 指定配置文件，开始执行数据校验，示例：
$ ./gt-checksum -f ./gc.conf
-- gt-checksum init configuration files --
-- gt-checksum init log files --
-- gt-checksum init check parameter --
-- gt-checksum init check table name --
-- gt-checksum init check table column --
-- gt-checksum init check table index column --
-- gt-checksum init source and dest transaction snapshoot conn pool --
-- gt-checksum init cehck table query plan and check data --
begin checkSum index table db1.t1
[█████████████████████████████████████████████████████████████████████████████████████████████████████████████████]113%  task:     678/600
table db1.t1 checksum complete

** gt-checksum Overview of results **
Check time:  73.81s (Seconds)
Schema  Table                   IndexCol                                checkMod        Rows            Differences     Datafix
db1     t1                      ol_w_id,ol_d_id,ol_o_id,ol_number       rows            5995934,5995918 yes             file


# 使用命令行传参方式执行数据校验
$ ./gt-checksum -S type=mysql,user=checksum,passwd=Checksum@123,host=172.16.0.1,port=3306,charset=utf8 -D type=mysql,user=checksum,passwd=Checksum@123,host=172.16.0.2,port=3306,charset=utf8 -t test.t2 -nit yes
-- gt-checksum init configuration files --
-- gt-checksum init log files --
-- gt-checksum init check parameter --
-- gt-checksum init check table name --
-- gt-checksum init check table column --
-- gt-checksum init check table index column --
-- gt-checksum init source and dest transaction snapshoot conn pool --
-- gt-checksum init cehck table query plan and check data --
begin checkSum index table SCOTT.A5
[█                    ]100%  task:       1/1
table SCOTT.A5 checksum complete

** gt-checksum Overview of results **
Check time:  0.29s (Seconds)
Schema  Table   IndexCol        checkMod        Rows    Differences     Datafix
test    t2      id              rows            10,10   no              file

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77

§ 下载配置Oracle驱动程序

如果需要校验Oracle数据库，则还需要先下载Oracle数据库相应版本的驱动程序。例如：待校验的数据库为Oracle 11-2，则要下载Oracle 11-2的驱动程序，并使之生效，否则连接Oracle会报错。

§ 下载Oracle Instant Client

从 https://www.oracle.com/database/technologies/instant-client/downloads.html (opens new window) 下载免费的Basic或Basic Light软件包。

oracle basic client, instantclient-basic-linux.x64-11.2.0.4.0.zip
oracle sqlplus, instantclient-sqlplus-linux.x64-11.2.0.4.0.zip
oracle sdk, instantclient-sdk-linux.x64-11.2.0.4.0.zip

§ 配置oracle client并生效

$ unzip instantclient-basic-linux.x64-11.2.0.4.0.zip
$ unzip instantclient-sqlplus-linux.x64-11.2.0.4.0.zip
$ unzip instantclient-sdk-linux.x64-11.2.0.4.0.zip
$ mv instantclient_11_2 /usr/local
$ echo "export LD_LIBRARY_PATH=/usr/local/instantclient_11_2:$LD_LIBRARY_PATH" >> /etc/profile
$ source /etc/profile

1
2
3
4
5
6

§ 源码编译

gt-checksum 工具采用 GO 语言开发，您可以自行编译生成二进制文件。

编译环境要求使用 golang 1.17 及以上版本。

请参考下面方法下载源码并进行编译：

$ git clone https://gitee.com/GreatSQL/gt-checksum.git
$ go build -o gt-checksum gt-checksum.go
$ chmod +x gt-checksum
$ mv gt-checksum /usr/local/bin

1
2
3
4

也可以直接利用Docker环境编译，在已经准备好Docker运行环境的基础上，执行如下操作即可：

$ git clone https://gitee.com/GreatSQL/gt-checksum.git
$ cd gt-checksum
$ DOCKER_BUILDKIT=1 docker build --build-arg VERSION=v1.2.1 -f Dockerfile -o ./ .
$ cd gt-checksum-v1.2.1
$ ./gt-checksum -v
gt-checksum version 1.2.1

1
2
3
4
5
6

这就编译完成并可以开始愉快地玩耍了。

§ 使用文档

gt-checksum manual (opens new window)

§ 版本历史

版本历史 (opens new window)

§ 已知缺陷

截止最新的1.2.1版本中，当表中有多行数据是完全重复的话，可能会导致校验结果不准确，详见已知缺陷 (opens new window) 。

扫码关注微信公众号

greatsql-wx

← pt-pmp (opens new window) GreatSQL 5.7升级到8.0 →