GreatSQL用户手册

§ Changes in GreatSQL 8.0.32-27 (2025-3-10)

§ 版本信息

§ 改进提升

在 GreatSQL 8.0.32-27 版本中新增高性能并行查询引擎Turbo，升级 Rapid 引擎内核版本，优化 MGR 大事务压缩传输机制，完善 greatdb_ha plugin，InnoDB Page 支持 Zstd 压缩，完善 Oracle 兼容特性，完善安全性等，并修复了几个可能导致 crash 或丢数据的 bug。

§ 高可用

  • 优化了 MGR 大事务传输时压缩超过限制的处理机制。

在 MGR 中有大事务超过 group_replication_compression_threshold 阈值时会进行 LZ4 压缩，但由于 LZ4 自身限制，可能导致压缩失败报错，事务执行失败，报告类似下面的错误

[GCS] Gcs_packet's payload is too big. Only packets smaller than 2113929216 bytes can be compressed. Payload size is 2197817290
1

GreatSQL 对此机制进行调整优化，实现以下两点目标：

  1. 当事务大小超过 group_replication_compression_threshold 阈值则启动压缩。

  2. 但当事务大小超过 LZ4 压缩限制时不再报错，改成继续使用原始未压缩的事务数据进行传输，即类似设置 group_replication_compression_threshold=0（不启用压缩）时的效果。

  • 新增状态变量 Rpl_data_speed 显示当前 Binlog 限速的状态，可以通过执行 SHOW GLOBAL STATUS LIKE 'Rpl_data_speed' 查看，例如
greatsql> SHOW GLOBAL STATUS LIKE 'Rpl%spee%';
+----------------+------------------+
| Variable_name  | Value            |
+----------------+------------------+
| Rpl_data_speed | async_rpl=100.00 |
+----------------+------------------+
1
2
3
4
5
6

表示当前的 Binlog 读取限速为 100KB/s，更多详细用法请参考：Binlog 读取限速。

  • 在 greatdb_ha plugin 中，增加对参数 greatdb_ha_port 相应的 TCP 端口进行防御，避免用户端发送非法指令后可能导致 crash 的风险。
  • 修复了启用 greatdb_ha plugin 时，可能因为 Linux 系统函数 FD_SET 中当遇到文件描述符超过 1024 时导致未定义行为而引发 crash 的问题。
  • 修复了 greatdb_ha plugin 中启用 VIP 功能后，可能存在内存泄漏风险的问题。
  • 修复了在主备两套 MGR 集群间部署主从复制后，当备用集群主节点意外宕机时，可能无法退出进程的问题。
  • 修复了在主备两套 MGR 集群间部署主从复制后，当备用集群主节点执行 kill -19 操作杀掉 mysqld 进程，在故障恢复后，Slave 节点上的 sql_thread 线程可能长时间未能退出的问题。

§ 高性能

  • 新增高性能并行查询引擎 Turbo，它通过内嵌 DuckDB，使 GreatSQL 具备多线程并发的向量化查询功能，在实现指数级提升加速 SQL 查询速度的同时，保持对 GreatSQL 生态系统的兼容性。相较于 Rapid 引擎，Turbo 引擎不需要将数据加载到引擎中，而是在查询过程中，直接并行抽取数据供 Turbo 引擎使用。

首先安装 Turbo 引擎

greatsql> INSTALL PLUGIN turbo SONAME 'turbo.so';
1

就可以直接利用 Turbo 引擎大幅提升 SQL 查询效率

greatsql> SELECT /*+ SET_VAR(turbo_enable=ON) SET_VAR(turbo_cost_threshold=0)*/ * FROM t1;
1

关于 Turbo 引擎更详细的使用方法请参考：Turbo 引擎。

  • 升级 Rapid 引擎内核到正式 GA 版本，新版本在存储格式稳定性、查询语义一致性等方面实现了重大突破，为用户提供了强有力的稳定性保证。注意，在新版本中采用新的文件存储格式，和之前的版本不兼容，因此无法从 GreatSQL 8.0.32-25 或 8.0.32-26 版本直接平滑升级到 GreatSQL 8.0.32-27，需要先删除旧的 Rapid 引擎数据文件，再次执行全量导入数据，重新启动增量导入任务。详细升级方式请见下方：升级到 GreatSQL 8.0.32-27。
  • 在新版本的 Rapid 引擎中，最大可使用并行逻辑 CPU 核数上限为 4 个，如果需要获得更高并发性能，可以联系我们提供解决方案。
  • 修复了 Rapid 引擎中一次性删除大批量数据后，查看增量导入任务进度时，DELAY 字段显示不准确的问题。
  • 修复了在存储过程中使用 EXPLAIN 查看 Rapid 表执行计划时，显示无法使用 Rapid 引擎实际上却可以使用的错误问题。
  • 修复 Rapid 引擎中未先完成一次全量导入任务，而是直接启动增量导入任务发生失败报错后，重启实例后无法正常启动的问题。正常地，正确的做法是先完成一次全量导入后，再启动增量导入任务。
  • 修复 Rapid 引擎参数 rapid_worker_threads 设置问题。当将其设置超过最大值后，再重新设置除默认值之外的其他合法值都会报错，需要重新装载 Rapid 引擎或重启数据库后才恢复正常。
  • 移除 Rapid 引擎参数 rapid_hash_table_memory_limit，不再使用。
  • 读取 Rapid 表数据时，error log 中不再打印类似下方的冗余信息。
[Note] [MY-011825] [InnoDB] thread 62 handle range count: 34 total rows: 2449266
[Note] [MY-011825] [InnoDB] thread 63 handle range count: 21 total rows: 1648443
[Note] [MY-011825] [InnoDB] total fetch rows count: 150000000
1
2
3
  • 修复 Rapid 引擎对表中存在虚拟列时的处理方案。在以前，当表中存在虚拟列时，执行 ALTER TABLE ... SECONDARY_LOAD 不会报错，但在执行 SELECT ... /*+ SET_VAR(use_secondary_engine=FORCED) */ 时会报错不支持。在新版本中，当发现表中存在虚拟列时，执行 ALTER TABLE ... SECONDARY_LOAD 直接报告下面的错误表示不支持：
ERROR 3106 (HY000): 'Rapid engine' is not supported for generated columns.
1
  • 在使用 Rapid 引擎时，如果出现不支持的数据类型，返回的错误提示中增加更明确的错误，如下例所示
greatsql> CREATE TABLE t1 (
  id int unsigned not null primary key,
  c1 int unsigned not null,
  c2 decimal(65,30) DEFAULT NULL
) SECONDARY_ENGINE=rapid;
Query OK, 0 rows affected (0.02 sec)

-- 下面的报错信息中，明确提示 c2 列的数据类型不支持
greatsql> ALTER TABLE t1 SECONDARY_LOAD;
ERROR 3877 (HY000): The field c2 type is not supported
1
2
3
4
5
6
7
8
9
10

§ 高兼容

  • 在 TO_DATE 函数中新增支持 INTERVAL 'n' DAY 运算用法。例如
greatsql> SELECT TO_DATE('20250212','YYYYMMDD') + (INTERVAL '-1' DAY) AS LASTDAY FROM DUAL;
+---------------------+
| LASTDAY             |
+---------------------+
| 2025-02-11 00:00:00 |
+---------------------+
1
2
3
4
5
6
  • 优化 TO_NUMBER 函数在大数据量时的执行效率，性能可提升数倍。
  • 修复了 REF CURSOR 在执行过程中表结构发生变化时可能导致报错的问题。
  • 优化动态游标内存管理机制，在动态游标 END LOOP 执行完后及时释放内存。
  • 修复了当源表为单行伪表时，MERGE INTO 语句更新目标表失败，导致执行结果和在 Oracle 中不一致的问题。

§ 高安全

  • 修复最后登录信息功能中由于未处理 Binlog 可能导致主从异常问题。
  • 修复审计日志入表功能中由于未处理 Binlog 可能导致主从异常问题。
  • 修复了审计日志入表功能中，安装和卸载 SQL 脚本中前后函数名不一致问题。
  • 修复了在设置 sql_log_bin=ON 的时候，本应该禁止修改审计日志表 sys_audit.audit_log，却可以更新修改的问题。

§ 其他

  • InnoDB Page 压缩算法支持 Zstd, 使得 Page 压缩率进一步得到提高，尤其是当表中有大量重复字符类型数据时。可以在创建新表时指定 Page 压缩算法，例如
greatsql> CREATE TABLE `t1_zstd` (
  `id` int NOT NULL,
  `c1` varchar(20) NOT NULL,
  `c2` varchar(30) NOT NULL,
  `c3` datetime NOT NULL,
  `c4` varchar(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx_c3` (`c3`)
) ENGINE=InnoDB COMPRESSION='zstd';
1
2
3
4
5
6
7
8
9

也可以执行 ALTER TABLE 修改表的 Page 压缩算法，例如

greatsql> ALTER TABLE t1 COMPRESSION='zstd';
1

更多关于 InnoDB Page 压缩的使用方法请参考：InnoDB Page 压缩。

§ 缺陷修复

§ 注意事项

§ 升级/降级到 GreatSQL 8.0.32-27

§ 升级到 GreatSQL 8.0.32-27

  • 如果旧版本是 GreatSQL 8.0.32-25 或 8.0.32-26，并且没有使用 Rapid 引擎，则可以直接在原来的 datadir 基础上，修改 basedir 后，原地（in-place）启动 GreatSQL 8.0.32-27 后会完成自动升级。
  • 如果旧版本是 GreatSQL 8.0.32-25 或 8.0.32-26，并且已启用 Rapid 引擎，这种情况下无法原地升级，需要卸载所有 Rapid 引擎表，删除 Rapid 数据文件，之后才可以直接在原来的 datadir 基础上，修改 basedir 后，原地（in-place）启动 GreatSQL 8.0.32-27 后会完成自动升级。新版本实例启动后，对所有 Rapid 引擎表执行 ALTER TABLE SECONDARY_LOAD 完成全量数据导入，再执行 SELECT START_SECONDARY_ENGINE_INCREMENT_LOAD_TASK() 启动增量导入任务，完成 Rapid 引擎表升级工作。下面是一个升级参考过程：
  1. 查询并记录所有 Rapid 引擎表

可以执行下面的 SQL，查询当前有哪些表使用了 Rapid 引擎：

greatsql> SELECT TABLE_SCHEMA, TABLE_NAME, TABLE_ROWS FROM information_schema.TABLES WHERE CREATE_OPTIONS LIKE '%Rapid%';
+--------------+----------------+------------+
| TABLE_SCHEMA | TABLE_NAME     | TABLE_ROWS |
+--------------+----------------+------------+
| tpch100g     | customer       |   14854987 |
| tpch100g     | lineitem       |  582868392 |
| tpch100g     | nation         |         25 |
| tpch100g     | orders         |  148492582 |
| tpch100g     | part           |   19943155 |
| tpch100g     | partsupp       |   79832625 |
| tpch100g     | region         |          5 |
| tpch100g     | supplier       |     989416 |
+--------------+----------------+------------+
1
2
3
4
5
6
7
8
9
10
11
12
13
  1. 正常停止 GreatSQL 实例进程

在停止 GreatSQL 实例进程前，先修改 innodb_fast_shutdown=0 后再执行 SHUTDOWN 停止实例

greatsql> SET GLOBAL innodb_fast_shutdown=0;
greatsql> SHUTDOWN;
1
2
  1. 删除旧的 Rapid 引擎数据文件
cd /data/GreatSQL && rm -f duckdb*
1
  1. 修改 my.cnf 配置文件中的 basedir 参数，指向 GreatSQL 8.0.32-27 新版本
#my.cnf
[mysqld]
basedir=/usr/local/GreatSQL-8.0.32-27-Linux-glibc2.28-x86_64
1
2
3

并确保参数 upgrade 不是设置为 NONE。

  1. 启动 GreatSQL 8.0.32-27 新版本实例
systemctl start greatsql
1
  1. 重新安装 Rapid 引擎
greatsql> INSTALL PLUGIN rapid SONAME 'ha_rapid.so';
1
  1. 对 Rapid 引擎表做一次全量数据导入
greatsql> ALTER TABLE test.t1 SECONDARY_LOAD;
1

小贴士

由于在升级前没有去掉该表的 SECONDARY_ENGINE=rapid 属性，所以无需重新设置。如果在升级前卸载所有 Rapid 引擎表，则需要重新设置。

  1. 再次启动增量导入任务
greatsql> SELECT START_SECONDARY_ENGINE_INCREMENT_LOAD_TASK('test', 't1');
1

这就完成 Rapid 引擎表的升级操作了。

  • 如果旧版本是 GreatSQL 8.0.32-24、8.0.25-*、5.7.36-39 等系列版本，则可以直接在原来的 datadir 基础上，修改 basedir 后，原地（in-place）启动 GreatSQL 8.0.32-27 后会完成自动升级。
  • 如果是 MySQL 8.0.（<= 8.0.32 版本）、Percona Server 8.0.（<= 8.0.32 版本）等系列版本，则可以直接在原来的 datadir 基础上，修改 basedir 后，原地（in-place）启动 GreatSQL 8.0.32-27 后会完成自动升级。
  • 如果是 MySQL 8.0.（> 8.0.32 版本）、Percona Server 8.0.（> 8.0.32 版本）等系列版本，则需要利用逻辑备份方式导出数据，再导入的方式完成升级，不支持原地（in-place）升级到 GreatSQL 8.0.32-27。
  • 如果是 MySQL 5.7.（>= 5.7.23 版本）、Percona Server 5.7.（>= 5.7.23 版本）等系列版本，则可以直接在原来的 datadir 基础上，修改 basedir 后，原地（in-place）启动 GreatSQL 8.0.32-27 后会完成自动升级。

在以上几个原地升级场景中，务必保证 my.cnf 中参数 upgrade 不能设置为 NONE，可以设置为默认的 AUTO 或 FORCE。例如：

#my.cnf
[mysqld]
upgrade = AUTO
1
2
3

更多迁移升级方案请参考：迁移升级。

§ 降级到 GreatSQL 8.0.32-27

如果是要从 MySQL/Percona 8.0.32 之后的版本降级到 GreatSQL 8.0.32-27 版本，则需要采取逻辑备份 + 逻辑导入方式完成降级操作，并且在逻辑备份导入完成后的首次重启时，务必设置 upgrade = FORCE 强制升级所有数据表，包括系统表。

降级过程操作大致如下所示：

  1. 在高版本中逻辑备份全量数据
mysqldump -S/data/MySQL/mysql.sock -A --triggers --routines --events --single-transaction > /data/backup/fulldump.sql
1
  1. 在 GreatSQL 8.0.32-27 版本环境中导入逻辑备份文件，完成逻辑恢复
mysql -S/data/GreatSQL/mysql.sock -f < /data/backup/fulldump.sql
1
  1. 修改 my.cnf，确保设置 upgrade=FORCE
#my.cnf
[mysqld]
upgrade = FORCE
1
2
3
  1. 重启 GreatSQL，降级完成
systemctl restart greatsql
1

重启过程中，可以看到日志有类似下面的强制升级过程

[Note] [MY-013387] [Server] Upgrading system table data.
[Note] [MY-013385] [Server] Upgrading the sys schema.
[Note] [MY-013400] [Server] Upgrade of help tables started.
[Note] [MY-013400] [Server] Upgrade of help tables completed.
[Note] [MY-013394] [Server] Checking 'mysql' schema.
[Note] [MY-013394] [Server] Checking 'sys' schema.
[System] [MY-013381] [Server] Server upgrade from '80032' to '80032' completed.
1
2
3
4
5
6
7

如果不设置 upgrade = FORCE 强制升级所有表，有可能发生系统表 mysql.procs_priv 损坏错误，在创建用户时可能会报告类似下面的错误：

greatsql> create user tpch identified by 'tpch';
ERROR 1728 (HY000): Cannot load from mysql.procs_priv. The table is probably corrupted
1
2

§ GreatSQL vs MySQL

1.主要特性 GreatSQL 8.0.32-27 MySQL 8.0.32
开源 ✔️ ✔️
ACID 完整性 ✔️ ✔️
MVCC 特性 ✔️ ✔️
支持行锁 ✔️ ✔️
Crash 自动修复 ✔️ ✔️
表分区（Partitioning） ✔️ ✔️
视图（Views） ✔️ ✔️
子查询（Subqueries） ✔️ ✔️
触发器（Triggers） ✔️ ✔️
存储程序（Stored Programs） ✔️ ✔️
外键（Foreign Keys） ✔️ ✔️
窗口函数（Window Functions） ✔️ ✔️
通用表表达式 CTE ✔️ ✔️
地理信息（GIS） ✔️ ✔️
基于 GTID 的复制 ✔️ ✔️
组复制（MGR） ✔️ ✔️
MyRocks 引擎 ✔️ ❌
支持龙芯架构 ✔️ ❌
2. 性能提升扩展 GreatSQL 8.0.32-27 MySQL 8.0.32
Rapid 引擎 ✔️ 仅云上 HeatWave
Turbo 引擎 ✔️ ❌
NUMA 亲和性优化 ✔️ ❌
非阻塞式 DDL ✔️ ❌
无主键表导入优化 ✔️ ❌
InnoDB 并行查询 ✔️ 仅主键扫描
并行 LOAD DATA ✔️ ❌
InnoDB 事务 ReadView 无锁优化 ✔️ ❌
InnoDB 事务大锁拆分优化 ✔️ ❌
InnoDB Page 压缩支持 Zstd ✔️ ❌
InnoDB 资源组 ✔️ ✔️
自定义 InnoDB 页大小 ✔️ ✔️
Contention-Aware Transaction Scheduling ✔️ ✔️
InnoDB Mutexes 拆分优化 ✔️ ❌
MEMORY 引擎优化 ✔️ ❌
InnoDB Flushing 优化 ✔️ ❌
并行 Doublewrite Buffer ✔️ ✔️
InnoDB 快速索引创建优化 ✔️ ❌
VARCHAR/BLOB/JSON 类型存储单列压缩 ✔️ ❌
数据字典中存储单列压缩信息 ✔️ ❌
3. 面向开发者提升改进 GreatSQL 8.0.32-27 MySQL 8.0.32
X API ✔️ ✔️
JSON ✔️ ✔️
NoSQL Socket-Level 接口 ✔️ ✔️
InnoDB 全文搜索改进 ✔️ ❌
更多 Hash/Digest 函数 ✔️ ❌
Oracle 兼容-数据类型 ✔️ ❌
Oracle 兼容-函数 ✔️ ❌
Oracle 兼容-SQL 语法 ✔️ ❌
Oracle 兼容-存储程序 ✔️ ❌
4. 基础特性提升改进 GreatSQL 8.0.32-27 MySQL 8.0.32
MGR 提升-地理标签 ✔️ ❌
MGR 提升-仲裁节点 ✔️ ❌
MGR 提升-读写节点绑定 VIP ✔️ ❌
MGR 提升-快速单主模式 ✔️ ❌
MGR 提升-智能选主机制 ✔️ ❌
MGR 提升-全新流控算法 ✔️ ❌
MGR 提升-网络分区异常处理 ✔️ ❌
MGR 提升-节点异常退出处理 ✔️ ❌
MGR 提升-节点磁盘满处理 ✔️ ❌
MGR 提升-自动选择 donor 节点 ✔️ ❌
MGR 提升-大事务压缩优化 ✔️ ❌
Clone 增量备份 ✔️ ❌
Clone 备份压缩 ✔️ ❌
Binlog 读取限速 ✔️ ❌
information_schema 表数量 95 65
全局性能和状态指标 853 434
优化器直方图（Histograms） ✔️ ✔️
Per-Table 性能指标 ✔️ ❌
Per-Index 性能指标 ✔️ ❌
Per-User 性能指标 ✔️ ❌
Per-Client 性能指标 ✔️ ❌
Per-Thread 性能指标 ✔️ ❌
全局查询响应耗时统计 ✔️ ❌
SHOW ENGINE INNODB STATUS 增强 ✔️ ❌
回滚段信息增强 ✔️ ❌
临时表信息增强 ✔️ ❌
用户统计信息增强 ✔️ ❌
Slow Query Log 信息增强 ✔️ ❌
5.安全性提升 GreatSQL 8.0.32-27 MySQL 8.0.32
国密支持 ✔️ ❌
备份加密 ✔️ ❌
审计 ✔️ 仅企业版
数据脱敏 ✔️ ❌
最后登录记录 ✔️ ❌
SQL Roles ✔️ ✔️
SHA-2 密码 Hashing ✔️ ✔️
密码轮换策略 ✔️ ✔️
PAM 认证插件 ✔️ 仅企业版
Keyring 存储在文件中 ✔️ ✔️
Keyring 存储在 Hashicorp Vault 中 ✔️ 仅企业版
InnoDB 数据加密 ✔️ ✔️
InnoDB 日志加密 ✔️ ✔️
InnoDB 各种表空间文件加密 ✔️ ✔️
二进制日志加密 ✔️ ❌
临时文件加密 ✔️ ❌
强制加密 ✔️ ❌
6. 运维便利性提升 GreatSQL 8.0.32-27 MySQL 8.0.32
DDL 原子性 ✔️ ✔️
数据字典存储 InnoDB 表 ✔️ ✔️
快速 DDL ✔️ ✔️
SET PERSIST ✔️ ✔️
不可见索引 ✔️ ✔️
线程池（Threadpool） ✔️ 仅企业版
备份锁 ✔️ ❌
SHOW GRANTS 扩展 ✔️ ❌
表损坏动作扩展 ✔️ ❌
杀掉不活跃事务 ✔️ ❌
START TRANSACTION WITH CONSISTENT SNAPSHOT 扩展 ✔️ ❌

GreatSQL 8.0.32-27 基于 Percona Server for MySQL 8.0.32 版本，它在 MySQL 8.0.32 基础上做了大量的改进和提升以及众多新特性，详情请见：Percona Server for MySQL feature comparison (opens new window)，这其中包括线程池、审计、数据脱敏等 MySQL 企业版才有的特性，以及 performance_schema 提升、information_schema 提升、性能和可扩展性提升、用户统计增强、PROCESSLIST 增强、Slow Query Log 增强等大量改进和提升，这里不一一重复列出。

§ GreatSQL Release Notes

§ GreatSQL 8.0

§ GreatSQL 5.7

扫码关注微信公众号

greatsql-wx

← 8.0.32-26 →