GreatSQL用户手册

(opens new window) (opens new window) (opens new window) (opens new window) (opens new window)

最后更新：2024-11-19。

本文档适用版本：GreatSQL 8.0.32-26。

§ 关于 GreatSQL

GreatSQL 数据库是一款 开源免费 数据库，可在普通硬件上满足金融级应用场景，具有 高可用、高性能、高兼容、高安全 等特性，可作为 MySQL 或 Percona Server for MySQL 的理想可选替换。

GreatSQL LOGO

§ 下载GreatSQL

§ GreatSQL核心特性

§ 高可用

针对 MGR 及主从复制进行了大量改进和提升工作，支持 地理标签、仲裁节点、读写动态 VIP、快速单主模式、智能选主 等特性，并针对 流控算法、事务认证队列清理算法、节点加入&退出机制、recovery机制 等多个 MGR 底层工作机制算法进行深度优化，进一步提升优化了 MGR 的高可用保障及性能稳定性。

  • 支持 地理标签 特性，提升多机房架构数据可靠性。
  • 支持 仲裁节点 特性，用更低的服务器成本实现更高可用。
  • 支持 读写动态 VIP 特性，高可用切换更便捷，更快实现读负载均衡。支持 当主节点切换时，主动关闭当前活跃连接，缩短应用端不可用时长。。
  • 支持 快速单主模式，在单主模式下更快，性能更高。
  • 支持 智能选主 特性，高可用切换选主机制更合理。
  • 优化 流控算法，使得事务更平稳，避免剧烈抖动。
  • 支持 记录 MGR 网络通信开销超过阈值的事件，用于进一步分析和优化。
  • 支持自动选择从最新事务数据的成员节点复制数据，可有效提升 Clone 速度，提高 MGR 的服务可靠性。
  • 在主从复制中，从节点向主节点发起 Binlog 读取请求时支持限速控制。
  • 优化了 asynchronous connection failover (opens new window) 中的故障检测效率，降低主从复制链路断开的时间，提高整体可用性。
  • 支持在跨机房容灾场景中的 主主双向复制防止回路 机制。
  • 优化了 MGR 节点加入、退出时可能导致性能剧烈抖动的问题。
  • 解决了个别节点上磁盘空间爆满时导致MGR集群整体被阻塞的问题。
  • 优化了 MGR 事务认证队列清理算法，高负载下不复存在每 60 秒性能抖动问题。
  • 解决了 MGR 中长事务造成无法选主的问题。
  • 修复了 MGR recovery 过程中长时间等待的问题。

更多信息详见文档：高可用。

§ 高性能

相对 MySQL 及 Percona Server For MySQL 的性能表现更稳定优异，支持 Rapid 引擎、事务无锁化、并行 LOAD DATA、异步删除大表、线程池、非阻塞式 DDL、NUMA 亲和调度优化 等特性，在 TPC-C 测试中相对 MySQL 性能提升超过 30%，在 TPC-H 测试中的性能表现是 MySQL 的十几倍甚至上百倍。

  • 支持 大规模并行、基于内存查询、高压缩比的高性能 Rapid 引擎，可将数据分析性能提升几个数量级。
  • 优化 InnoDB 事务系统，实现了大锁拆分及无锁化等多种优化方案，OLTP 场景整体性能提升约 20%。
  • 支持 并行 LOAD DATA，适用于频繁导入大批量数据的应用场景，性能可提升约 20 多倍；对于无显式定义主键的场景亦有优化提升。
  • 支持 异步删除大表，提高 InnoDB 引擎运行时性能的稳定性。
  • 支持 线程池，降低了线程创建和销毁的代价，保证高并发下，性能稳定不会明显衰退。
  • 支持 非阻塞式 DDL，可以避免数据库因为必须尽快完成 DDL 操作而导致业务请求大量被阻塞的问题。
  • 支持 NUMA 亲和性优化，通过 NUMA 亲和性调度优化，将前端用户线程和后台线程绑定到固定 NUMA 节点上以提升线程处理性能。

更多信息详见文档：高性能。

§ 高兼容

GreatSQL 实现 100% 完全兼容 MySQL 及 Percona Server For MySQL 语法，支持大多数常见 Oracle 语法，包括 数据类型兼容、函数兼容、SQL 语法兼容、存储程序兼容 等众多兼容扩展用法。

更多信息详见文档：高兼容。

§ 高安全

GreatSQL 支持逻辑备份加密、CLONE 备份加密、审计、表空间国密加密、敏感数据脱敏、存储登录历史等多个安全提升特性，进一步保障业务数据安全，更适用于金融级应用场景。

通过上述多个安全提升特性，进一步保障业务数据安全。更多信息详见文档：高安全。

§ 其他

§ 安装 GreatSQL

§ 安装 jemalloc（推荐）

运行 GreatSQL 时如果有 jemalloc 支持，则数据库进程的内存分配会更稳定、高效，因此建议安装 jemalloc（非必须）。以 CentOS 8 系统为例，采用类似下面的方法安装 jemalloc 软件包：

# 先安装 epel 源
yum install -y epel-release

# 再安装jemalloc
yum -y install jemalloc jemalloc-devel
1
2
3
4
5

也可以把自行安装的动态库so文件路径加到系统配置文件中，例如：

cat /etc/ld.so.conf
/usr/local/lib64/
1
2

而后执行下面的操作加载libjemalloc库，并确认是否已存在

ldconfig && ldconfig -p | grep libjemalloc
1
查看运行结果 
$ ldconfig && ldconfig -p | grep libjemalloc

...
        libjemalloc.so.1 (libc6,x86-64) => /usr/local/lib64/libjemalloc.so.1
        libjemalloc.so (libc6,x86-64) => /usr/local/lib64/libjemalloc.so
1
2
3
4
5

如果无法通过 yum 直接安装 jemalloc，可以自行下载 RPM 包，地址：https://centos.pkgs.org/8/epel-x86_64/jemalloc-5.2.1-2.el8.x86_64.rpm.html (opens new window)

§ 下载安装 GreatSQL

推荐安装 GreatSQL RPM 包。

戳此链接下载 GreatSQL RPM 包 (opens new window)。

以 CentOS 8 系统为例，采用类似下面的命令安装 GreatSQL：

# 首先，查找GreatSQL是否已安装
yum search greatsql
...
No matches found.

# 然后安装
rpm -ivh --nodeps greatsql-client-8.0.32-26.1.el8.x86_64.rpm greatsql-devel-8.0.32-26.1.el8.x86_64.rpm greatsql-icu-data-files-8.0.32-26.1.el8.x86_64.rpm greatsql-mysql-router-8.0.32-26.1.el8.x86_64.rpm greatsql-server-8.0.32-26.1.el8.x86_64.rpm greatsql-shared-8.0.32-26.1.el8.x86_64.rpm greatsql-test-8.0.32-26.1.el8.x86_64.rpm
1
2
3
4
5
6
7

小贴士

正式安装 GreatSQL RPM 包时，可能还需要依赖 openssl、Perl 等其他软件包，此处为快速演示，因此加上 --nodeps 参数，忽略相应的依赖关系检查。安装完毕后，如果因为依赖关系无法启动，请再行安装相应软件依赖包。

安装完成后，GreatSQL 会自行完成初始化，可以再检查是否已加入系统服务或已启动：

systemctl status mysqld
1
查看运行结果 
$ systemctl status mysqld

...
● mysqld.service - MySQL Server
   Loaded: loaded (/usr/lib/systemd/system/mysqld.service; enabled; vendor preset: disabled)
...
     Docs: man:mysqld(8)
           http://dev.mysql.com/doc/refman/en/using-systemd.html
  Process: 1137698 ExecStartPre=/usr/bin/mysqld_pre_systemd (code=exited, status=0/SUCCESS)
 Main PID: 1137732 (mysqld)
   Status: "Server is operational"
    Tasks: 39 (limit: 149064)
   Memory: 336.7M
   CGroup: /system.slice/mysqld.service
           └─1137732 /usr/sbin/mysqld
...
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

就可以正常启动 GreatSQL 服务了。

想要 GreatSQL 更高效运行，建议参考这份 my.cnf 配置模板：my.cnf for GreatSQL 8.0.32-26 (opens new window)。

§ 编译 GreatSQL 二进制包

推荐利用 Docker 环境快速编译 GreatSQL 二进制包，可参考方法：编译源码安装GreatSQL。

§ 编译 GreatSQL RPM 包

还可以利用 src.rpm 源码包快速编译 GreatSQL RPM 包，可参考方法：在CentOS环境下编译GreatSQL src.rpm包，并再编译RPM包 (opens new window)。

安装 rmp-build、cmake、gcc 等编译环境必要的软件包

dnf install -y  bison cmake cyrus-sasl-devel gcc-c++ gcc-toolset-11 gcc-toolset-11-annobin-plugin-gcc krb5-devel libaio-devel libcurl-devel libssh libtirpc-devel m4 make ncurses-devel numactl-devel openldap-devel openssl openssl-devel pam-devel perl perl-Carp perl-Data-Dumper perl-Errno perl-Exporter perl-File-Temp perl-Getopt-Long perl-JSON perl-Memoize perl-Time-HiRes readline-devel rpm-build time vim-common zlib-devel
1

创建相应的目录

mkdir -p /root/rpmbuild/{BUILD,RPMS,SOURCES,SPECS,SRPMS}
1

将下载后的 src.rpm 文件放在 /root/rpmbuild/SRPMS 目录下

编译 GreatSQL RPM 包

cd /root/rpmbuild/
rpmbuild --define "_smp_mflags -j16" --define 'dist .el8' --define "_topdir /root/rpmbuild/" --rebuild ./SRPMS/greatsql-8.0.32-26.1.noarch.src.rpm > ./rpmbuild.log 2>&1
1
2

参数 dist 支持以下常见 OS 标签（如需支持更多标签请告诉我们）：

  • openEuler系统，例如：oe2003, oe2203, oe2403。
  • RHEL/CentOS 系统，例如：el7, el8, el9。

§ 版本历史

戳此查看 GreatSQL 版本历史。

§ GreatSQL 用户手册及学习资料

§ GreatSQL 用户手册

§ GreatSQL编译构建相关

§ GreatSQL管理运维使用相关

§ 其他 GreatSQL 相关资源仓库

§ GreatSQL vs MySQL

1.主要特性 GreatSQL 8.0.32-26 MySQL 8.0.32
开源 ✔️ ✔️
ACID 完整性 ✔️ ✔️
MVCC 特性 ✔️ ✔️
支持行锁 ✔️ ✔️
Crash 自动修复 ✔️ ✔️
表分区（Partitioning） ✔️ ✔️
视图（Views） ✔️ ✔️
子查询（Subqueries） ✔️ ✔️
触发器（Triggers） ✔️ ✔️
存储程序（Stored Programs） ✔️ ✔️
外键（Foreign Keys） ✔️ ✔️
窗口函数（Window Functions） ✔️ ✔️
通用表表达式 CTE ✔️ ✔️
地理信息（GIS） ✔️ ✔️
基于 GTID 的复制 ✔️ ✔️
组复制（MGR） ✔️ ✔️
MyRocks 引擎 ✔️ ❌
支持龙芯架构 ✔️ ❌
2. 性能提升扩展 GreatSQL 8.0.32-26 MySQL 8.0.32
AP 引擎 ✔️ 仅云上HeatWave
NUMA 亲和性优化 ✔️ ❌
非阻塞式 DDL ✔️ ❌
无主键表导入优化 ✔️ ❌
InnoDB 并行查询 ✔️ 仅主键扫描
并行 LOAD DATA ✔️ ❌
InnoDB 事务 ReadView 无锁优化 ✔️ ❌
InnoDB 事务大锁拆分优化 ✔️ ❌
InnoDB 资源组 ✔️ ✔️
自定义 InnoDB 页大小 ✔️ ✔️
Contention-Aware Transaction Scheduling ✔️ ✔️
InnoDB Mutexes 拆分优化 ✔️ ❌
MEMORY 引擎优化 ✔️ ❌
InnoDB Flushing 优化 ✔️ ❌
并行 Doublewrite Buffer ✔️ ✔️
InnoDB 快速索引创建优化 ✔️ ❌
VARCHAR/BLOB/JSON 类型存储单列压缩 ✔️ ❌
数据字典中存储单列压缩信息 ✔️ ❌
3. 面向开发者提升改进 GreatSQL 8.0.32-26 MySQL 8.0.32
X API ✔️ ✔️
JSON ✔️ ✔️
NoSQL Socket-Level接口 ✔️ ✔️
InnoDB 全文搜索改进 ✔️ ❌
更多 Hash/Digest 函数 ✔️ ❌
Oracle 兼容-数据类型 ✔️ ❌
Oracle 兼容-函数 ✔️ ❌
Oracle 兼容-SQL语法 ✔️ ❌
Oracle 兼容-存储程序 ✔️ ❌
4. 基础特性提升改进 GreatSQL 8.0.32-26 MySQL 8.0.32
MGR 提升-地理标签 ✔️ ❌
MGR 提升-仲裁节点 ✔️ ❌
MGR 提升-读写节点绑定VIP ✔️ ❌
MGR 提升-快速单主模式 ✔️ ❌
MGR 提升-智能选主机制 ✔️ ❌
MGR 提升-全新流控算法 ✔️ ❌
MGR 提升-网络分区异常处理 ✔️ ❌
MGR 提升-节点异常退出处理 ✔️ ❌
MGR 提升-节点磁盘满处理 ✔️ ❌
MGR 提升-自动选择 donor 节点 ✔️ ❌
Clone 增量备份 ✔️ ❌
Clone 备份压缩 ✔️ ❌
Binlog 读取限速 ✔️ ❌
information_schema 表数量 95 65
全局性能和状态指标 853 434
优化器直方图（Histograms） ✔️ ✔️
Per-Table 性能指标 ✔️ ❌
Per-Index 性能指标 ✔️ ❌
Per-User 性能指标 ✔️ ❌
Per-Client 性能指标 ✔️ ❌
Per-Thread 性能指标 ✔️ ❌
全局查询相应耗时统计 ✔️ ❌
SHOW INNODB ENGINE STATUS 增强 ✔️ ❌
回滚段信息增强 ✔️ ❌
临时表信息增强 ✔️ ❌
用户统计信息增强 ✔️ ❌
Slow log 信息增强 ✔️ ❌
5.安全性提升 GreatSQL 8.0.32-26 MySQL 8.0.32
国密支持 ✔️ ❌
备份加密 ✔️ ❌
审计 ✔️ 仅企业版
数据脱敏 ✔️ ❌
最后登录记录 ✔️ ❌
SQL Roles ✔️ ✔️
SHA-2 密码Hashing ✔️ ✔️
密码轮换策略 ✔️ ✔️
PAM 认证插件 ✔️ 仅企业版
Keyring 存储在文件中 ✔️ ✔️
Keyring 存储在Hashicorp Vault中 ✔️ 仅企业版
InnoDB 数据加密 ✔️ ✔️
InnoDB 日志加密 ✔️ ✔️
InnoDB 各种表空间文件加密 ✔️ ✔️
二进制日志加密 ✔️ ❌
临时文件加密 ✔️ ❌
强制加密 ✔️ ❌
6. 运维便利性提升 GreatSQL 8.0.32-26 MySQL 8.0.32
DDL 原子性 ✔️ ✔️
数据字典存储 InnoDB 表 ✔️ ✔️
快速 DDL ✔️ ✔️
SET PERSIST ✔️ ✔️
不可见索引 ✔️ ✔️
线程池（Threadpool） ✔️ 仅企业版
备份锁 ✔️ ❌
SHOW GRANTS 扩展 ✔️ ❌
表损坏动作扩展 ✔️ ❌
杀掉不活跃事务 ✔️ ❌
START TRANSACTION WITH CONSISTENT SNAPSHOT 扩展 ✔️ ❌

GreatSQL 8.0.32-26 基于 Percona Server for MySQL 8.0.32 版本，它在 MySQL 8.0.32 基础上做了大量的改进和提升以及众多新特性，详情请见：Percona Server for MySQL feature comparison (opens new window)，这其中包括线程池、审计、数据脱敏等 MySQL 企业版才有的特性，以及 performance_schema 提升、information_schema 提升、性能和可扩展性提升、用户统计增强、PROCESSLIST 增强、Slow Log 增强等大量改进和提升，这里不一一重复列出。

GreatSQL同时也是gitee（码云）平台上的GVP项目，详见：https://gitee.com/gvp/database-related (opens new window) 数据库相关类目。

§ 许可/Licensing

GreatSQL 致力于保持开源的开放性。GreatSQL 采用 GPLv2 协议。

小贴士

如果您在使用 GreatSQL，请告诉我们，将有机会获得精美礼品和免费技术支持 (opens new window)。

扫码关注微信公众号

greatsql-wx