同样的一条 insert sql在greatsql中执行要较慢，在mariadb中较快

补充几个信息
1. GreatSQL的配置
2. 执行INSERT期间执行SHOW PROCESSLIST结果
3. slow query log里的相关信息

yejr 发表于 2024-7-23 19:48
补充几个信息
1. GreatSQL的配置
2. 执行INSERT期间执行SHOW PROCESSLIST结果

my.cnf
# Percona Server template configuration
#
# For advice on how to change settings please see
# http://dev.mysql.com/doc/refman/ ... ation-defaults.html
[client]
user = root
socket = /data/mysql/mysql.sock

[mysqld]
user = mysql
port = 3306
datadir = /data/mysql
socket = /data/mysql/mysql.sock
log_error = /data/mysql/mysqld.log
sql_mode = NO_ENGINE_SUBSTITUTION
open_files_limit = 65535
max_connections = 1024
slow_query_log = on
slow_query_log_file = /data/mysql/slow-query.log


SHOW PROCESSLIST;
5        event_scheduler        localhost                Daemon        378        Waiting on empty queue                378852        0        0
14        root        192.168.30.75:56580                Query        0        init        SHOW PROCESSLIST        0        0        0
1167        root        localhost:51946        lot_wireless_system        Query        66        update        INSERT INTO `device_wave_from1026` (`map_id`,`axis`,`create_time`,`wave_from`,`sampling_frequency`,`        66769        0        0
1170        root        localhost:51986        lot_wireless_system        Query        66        Opening tables        INSERT INTO `vibration_data_tbl1157` (`map_id`,`create_time`,`temp`,`v_x`,`v_y`,`v_z`,`rms_z`,`p_p_z        66465        0        0
1269        root        localhost:59440        lot_wireless_system        Sleep        103                        103073        0        0
1273        root        localhost:59448        lot_wireless_system        Sleep        112                        111967        0        0

corey 发表于 2024-7-24 14:27
my.cnf
# Percona Server template configuration
#

slow_query_log

# Time: 2024-07-24T06:29:22.541538Z
# User@Host: root[root] @ localhost [127.0.0.1]  Id:  1170
# Schema: lot_wireless_system  Last_errno: 0  Killed: 0
# Query_time: 87.923407  Lock_time: 0.000015  Rows_sent: 0  Rows_examined: 0  Rows_affected: 30  Bytes_sent: 54
SET timestamp=1721802474;
INSERT INTO `device_wave_from1037` (`map_id`,`axis`,`create_time`,`wave_from`,`sampling_frequency`,`sampling_points`,`data_unit`,`device_speed`,`category_time`,`trigger_type`) VALUES (51817,3,'2024-07-24 14:22:20',X过长部分省略

yejr 发表于 2024-7-23 19:48
补充几个信息
1. GreatSQL的配置
2. 执行INSERT期间执行SHOW PROCESSLIST结果

同样的配置
搭载greatsql数据库


搭载mariadb数据库

yejr 发表于 2024-7-23 19:48
补充几个信息
1. GreatSQL的配置
2. 执行INSERT期间执行SHOW PROCESSLIST结果

业务场景是这样的：每隔几分钟，会分几批次执行批量插入几十条拼接的insert sql，但是greatsql就执行的很慢，导致下一个间隔到来，上一个间隔还没有执行完，就一直堆积程序的内存，导致内存慢慢被占满，然后服务挂掉自动重启，但是mariadb执行很快，不会卡住

corey 发表于 2024-7-24 14:47
业务场景是这样的：每隔几分钟，会分几批次执行批量插入几十条拼接的insert sql，但是greatsql就执行的很 ...

CREATE TABLE `device_wave_form`  (
  `id` int UNSIGNED NOT NULL AUTO_INCREMENT,
  `map_id` int UNSIGNED NOT NULL COMMENT '有效设备表的Id',
  `axis` int NOT NULL DEFAULT 0 COMMENT '轴向1,表示x轴，2表示y轴，3表示z轴',
  `create_time` timestamp NOT NULL DEFAULT '1993-03-20 00:00:00' COMMENT '设备上传的创建时间',
  `wave_from` mediumblob NOT NULL COMMENT '波形数据',
  `sampling_frequency` double NOT NULL DEFAULT 0 COMMENT '采样频率',
  `sampling_points` int NOT NULL DEFAULT 0,
  `data_unit` int NULL DEFAULT 0 COMMENT '数据单位',
  `device_speed` double NULL DEFAULT 0 COMMENT '设备转速',
  `trigger_type` int UNSIGNED NOT NULL DEFAULT 0 COMMENT '触发类型',
  `category_time` int UNSIGNED NOT NULL DEFAULT 1 COMMENT '时间长度分类标签, 1为天, 2为周, 4为月, 8为年. 可相加表示多个',
  PRIMARY KEY (`id`) USING BTREE,
  INDEX `idx_device_info_id`(`map_id`, `create_time`, `axis`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 10731 CHARACTER SET = utf8mb3 COLLATE = utf8mb3_general_ci COMMENT = '设备上传波形表' ROW_FORMAT = Dynamic;

corey 发表于 2024-7-24 14:59
CREATE TABLE `device_wave_form`  (
  `id` int UNSIGNED NOT NULL AUTO_INCREMENT,
  `map_id` int UNS ...

GreatSQL只配置了下面这点内容吗

1. [mysqld]
   
2. user = mysql
   
3. port = 3306
   
4. datadir = /data/mysql
   
5. socket = /data/mysql/mysql.sock
   
6. log_error = /data/mysql/mysqld.log
   
7. sql_mode = NO_ENGINE_SUBSTITUTION
   
8. open_files_limit = 65535
   
9. max_connections = 1024
   
10. slow_query_log = on
    
11. slow_query_log_file = /data/mysql/slow-query.log

复制代码

这也就意味着很多参数都用默认值，包括 innodb_buffer_pool_size 这些，它的默认值是 128M，大部分情况下是远远不够的

yejr 发表于 2024-7-24 17:15
GreatSQL只配置了下面这点内容吗

开始用了很多，都试过了，innodb_buffer_pool_size也配置过4G等，但是效果都一样，都是很慢

corey 发表于 2024-7-24 17:18
开始用了很多，都试过了，innodb_buffer_pool_size也配置过4G等，但是效果都一样，都是很慢 ...

我现在得到的结论是跟配置无关，因为greatsql跟mariadb甚至都用基本的几条配置，mariadb不会出现说执行很慢的情况