点击参与 GreatSQL 8.0.32-26 文档捉虫~~~

GreatSQL社区

搜索

[待回复] 凝思6.0.99欧拉融合版使用万里导入数据很慢

898 17 2025-3-17 09:18
【系统版本】


root@server:~/Desktop# cat /etc/os-release
PRETTY_NAME="Linx GNU/Linux 6.0.99"
NAME="Linx GNU/Linux"
VERSION_ID="8"
VERSION="8"
ID=Linx
HOME_URL="http://www.linx-info.com/"


【内核版本】

uname -a
Linux server 4.19.0-11-linx-security-amd64 #1 SMP Linx 4.19.90-2linx6 (2024-07-19) x86_64 GNU/Linux


【gcc版本】

root@server:~/Desktop# gcc --version
gcc (GCC) 8.3.0
Copyright (C) 2018 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.


【glibc版本】

root@server:~/Desktop# ldd --version
ldd (Debian GLIBC 2.19-18+deb8u10-linx2) 2.19
Copyright (C) 2014 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
由 Roland McGrath 和 Ulrich Drepper 编写。


【安装包】
GreatSQL-8.0.32-26-Linux-glibc2.17-x86_64.tar.xz

【安装方法】
参考Ubuntu二进制包安装方法，具体如下：
1. 第一步
将安装包、my.cnf、mysqld.service、更改过的mysqld_pre_systemd拷贝至/home下
2. 第二步
tar -xvf /home/GreatSQL-8.0.32-26-Linux-glibc2.17-x86_64.tar.xz
mv /home/GreatSQL-8.0.32-26-Linux-glibc2.17-x86_64  /usr/local/mysql
3. 第三步
cd /etc/mysql/
mv my.cnf my.cnf.bak
cp /home/my.cnf /etc/mysql/
4. 第四步
groupadd mysql
useradd -g mysql mysql
mkdir -p /data/GreatSQL
chown -R mysql:mysql /data/GreatSQL
chmod -R 700 /data/GreatSQL
mkdir -p /var/log/mysql
chown -R mysql:mysql /var/log/mysql
chmod -R 700 /var/log/mysql
5. 第五步
cp /home/mysqld_pre_systemd /usr/local/mysql/bin/
6. 第六步
cp /home/mysqld.service /lib/systemd/system/
7. 第七步
mkdir -p /etc/sysconfig
chown -R mysql:mysql /etc/sysconfig
chmod -R 700 /etc/sysconfig
8. 第八步
sudo sh -c 'echo "export PATH=/usr/local/mysql/bin:\$PATH" >> /etc/profile'
source /etc/profile
9. 第九步
10. 第十步
rm -rf /myproc/SE2000/lib/lib_wanli/*
cp -a /usr/local/mysql/lib/* /myproc/SE2000/lib/lib_wanli/
cp -af /myproc/SE2000/lib/lib_wanli/* /myproc/SE2000/lib/（此处是需要更换我们程序下的依赖）
nohup mysqld --defaults-file=/etc/mysql/my.cnf --initialize-insecure --user=mysql
mysqld --defaults-file=/etc/mysql/my.cnf &
11. 第十一步
systemctl daemon-reload
mysql_install_db
mysqld_safe &
中间间隔5-10分钟再执行：
killall -9 -g mysqld_safe
mysqld_safe &
12. 第十二步
mysql -uroot
alter user user() identified by 'Dlsoftsa123@';

【my.cnf第一次配置，导入同样数据需要好几个小时】
[client]
socket    = /data/GreatSQL/mysql.sock
[mysql]
loose-skip-binary-as-hex
prompt = "(\\D)[\\u@GreatSQL][\\d]>"
no-auto-rehash
[mysqld]
user    = mysql
port    = 3306
server_id = 3306
basedir = /usr/local/mysql
datadir = /data/GreatSQL
socket  = /data/GreatSQL/mysql.sock
log_error=/var/log/mysql/error.log
pid-file = mysql.pid
character-set-server = UTF8MB4
skip_name_resolve = ON
default_time_zone = "+8:00"
bind_address = "0.0.0.0"
secure_file_priv = /data/GreatSQL
lower_case_table_names=1

# Performance
lock_wait_timeout = 3600
open_files_limit    = 65535
back_log = 1024
max_connections = 512
max_connect_errors = 1000000
table_open_cache = 1024
table_definition_cache = 1024
thread_stack = 512K
sort_buffer_size = 4M
join_buffer_size = 4M
read_buffer_size = 8M
read_rnd_buffer_size = 4M
bulk_insert_buffer_size = 64M
thread_cache_size = 768
interactive_timeout = 600
wait_timeout = 600
tmp_table_size = 32M
max_heap_table_size = 32M
max_allowed_packet = 64M
net_buffer_shrink_interval = 180
sql_generate_invisible_primary_key = ON
loose-lock_ddl_polling_mode = ON
loose-lock_ddl_polling_runtime = 200

# Logs
log_timestamps = SYSTEM
log_error = error.log
log_error_verbosity = 3
slow_query_log = ON
log_slow_extra = ON
slow_query_log_file = slow.log
long_query_time = 0.01
log_queries_not_using_indexes = ON
log_throttle_queries_not_using_indexes = 60
min_examined_row_limit = 100
log_slow_admin_statements = ON
log_slow_replica_statements = ON
log_slow_verbosity = FULL
log_bin = binlog
binlog_format = ROW
sync_binlog = 1
binlog_cache_size = 4M
max_binlog_cache_size = 2G
max_binlog_size = 1G
binlog_space_limit = 500G
binlog_rows_query_log_events = ON
binlog_expire_logs_seconds = 604800
binlog_checksum = CRC32
binlog_order_commits = OFF
gtid_mode = ON
enforce_gtid_consistency = ON

# Replication
relay-log = relaylog
relay_log_recovery = ON
replica_parallel_type = LOGICAL_CLOCK
replica_parallel_workers = 16
binlog_transaction_dependency_tracking = WRITESET
replica_preserve_commit_order = ON
replica_checkpoint_period = 2
loose-rpl_read_binlog_speed_limit = 100

# MGR
loose-plugin_load_add = 'mysql_clone.so'
loose-plugin_load_add = 'group_replication.so'
loose-group_replication_group_name = "aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaa1"
loose-group_replication_local_address = "172.16.16.10:33061"
loose-group_replication_group_seeds = "172.16.16.10:33061,172.16.16.11:33061,172.16.16.12:33061"
loose-group_replication_communication_stack = "XCOM"
loose-group_replication_recovery_use_ssl = OFF
loose-group_replication_ssl_mode = DISABLED
loose-group_replication_start_on_boot = OFF
loose-group_replication_bootstrap_group = OFF
loose-group_replication_exit_state_action = READ_ONLY
loose-group_replication_flow_control_mode = "DISABLED"
loose-group_replication_single_primary_mode = ON
loose-group_replication_enforce_update_everywhere_checks = OFF
loose-group_replication_majority_after_mode = ON
loose-group_replication_communication_max_message_size = 10M
loose-group_replication_arbitrator = OFF
loose-group_replication_single_primary_fast_mode = 1
loose-group_replication_request_time_threshold = 100
loose-group_replication_primary_election_mode = GTID_FIRST
loose-group_replication_unreachable_majority_timeout = 0
loose-group_replication_member_expel_timeout = 5
loose-group_replication_autorejoin_tries = 288
loose-group_replication_recovery_get_public_key = ON
loose-group_replication_donor_threshold = 100
report_host = "172.16.16.10"

# InnoDB
innodb_buffer_pool_size = 2G
innodb_buffer_pool_instances = 8
innodb_data_file_path = ibdata1:12M:autoextend
innodb_flush_log_at_trx_commit = 1
innodb_log_buffer_size = 32M
innodb_redo_log_capacity = 6G
innodb_doublewrite_files = 2
innodb_max_undo_log_size = 4G
innodb_io_capacity = 4000
innodb_io_capacity_max = 8000
innodb_open_files = 65535
innodb_flush_method = O_DIRECT
innodb_lru_scan_depth = 4000
innodb_lock_wait_timeout = 10
innodb_rollback_on_timeout = ON
innodb_print_all_deadlocks = ON
innodb_online_alter_log_max_size = 4G
innodb_print_ddl_logs = ON
innodb_status_file = ON
innodb_status_output = OFF
innodb_status_output_locks = ON
innodb_sort_buffer_size = 64M
innodb_adaptive_hash_index = OFF
innodb_numa_interleave = OFF
innodb_spin_wait_delay = 20
innodb_print_lock_wait_timeout_info = ON
innodb_change_buffering = none
kill_idle_transaction = 300
innodb_data_file_async_purge = ON

#innodb monitor settings
#innodb_monitor_enable = "module_innodb,module_server,module_dml,module_ddl,module_trx,module_os,module_purge,module_log,module_lock,module_buffer,module_index,module_ibuf_system,module_buffer_page,module_adaptive_hash"

#pfs settings
performance_schema = 1
#performance_schema_instrument = '%memory%=on'
performance_schema_instrument = '%lock%=on'



【my.cnf第二次配置，导入同样数据需要两个半小时】

[client]
socket    = /data/GreatSQL/mysql.sock
[mysql]
loose-skip-binary-as-hex
prompt = "(\\D)[\\u@GreatSQL][\\d]>"
no-auto-rehash
[mysqld]
user    = mysql
port    = 3306
server_id = 3306
basedir = /usr/local/mysql
datadir = /data/GreatSQL
socket  = /data/GreatSQL/mysql.sock
log_error=/var/log/mysql/error.log
pid-file = mysql.pid
character-set-server = UTF8
skip_name_resolve = 1
default_time_zone = "+8:00"
bind_address = "0.0.0.0"
secure_file_priv = /data/GreatSQL
#lower_case_table_names=1
collation_server=utf8_bin

# Performance
#skip_ssl
lock_wait_timeout = 3600
open_files_limit    = 65535
back_log = 1024
max_connections = 1000
max_connect_errors = 1000000
table_open_cache = 256
table_definition_cache = 1024
thread_stack = 512K
sort_buffer_size = 4M
join_buffer_size = 4M
read_buffer_size = 8M
read_rnd_buffer_size = 4M
bulk_insert_buffer_size = 64M
thread_cache_size = 8
interactive_timeout = 600
wait_timeout = 600
tmp_table_size = 34M
max_heap_table_size = 32M
skip_external_locking=1
max_allowed_packet = 256M
event_scheduler=1
max_prepared_stmt_count=1048448
max_binlog_size=500M
expire_logs_days=10
autocommit=1
net_buffer_shrink_interval = 180
sql_generate_invisible_primary_key = ON
loose-lock_ddl_polling_mode = ON
loose-lock_ddl_polling_runtime = 200

# Logs
log_timestamps = SYSTEM
log_error = error.log
log_error_verbosity = 3
slow_query_log = ON
log_slow_extra = ON
slow_query_log_file = slow.log
long_query_time = 0.01
log_queries_not_using_indexes = ON
log_throttle_queries_not_using_indexes = 60
min_examined_row_limit = 100
log_slow_admin_statements = ON
log_slow_replica_statements = ON
log_slow_verbosity = FULL
log_bin = binlog
binlog_format = ROW
sync_binlog = 0
binlog_cache_size = 4M
max_binlog_cache_size = 2G
max_binlog_size = 1G
binlog_space_limit = 500G
binlog_rows_query_log_events = ON
binlog_expire_logs_seconds = 604800
binlog_checksum = CRC32
binlog_order_commits = OFF
gtid_mode = ON
enforce_gtid_consistency = ON

# Replication
relay-log = relaylog
relay_log_recovery = ON
replica_parallel_type = LOGICAL_CLOCK
replica_parallel_workers = 16
binlog_transaction_dependency_tracking = WRITESET
replica_preserve_commit_order = ON
replica_checkpoint_period = 2
loose-rpl_read_binlog_speed_limit = 100

# MGR
loose-plugin_load_add = 'mysql_clone.so'
loose-plugin_load_add = 'group_replication.so'
loose-group_replication_group_name = "aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaa1"
loose-group_replication_local_address = "172.16.16.10:33061"
loose-group_replication_group_seeds = "172.16.16.10:33061,172.16.16.11:33061,172.16.16.12:33061"
loose-group_replication_communication_stack = "XCOM"
loose-group_replication_recovery_use_ssl = OFF
loose-group_replication_ssl_mode = DISABLED
loose-group_replication_start_on_boot = OFF
loose-group_replication_bootstrap_group = OFF
loose-group_replication_exit_state_action = READ_ONLY
loose-group_replication_flow_control_mode = "DISABLED"
loose-group_replication_single_primary_mode = ON
loose-group_replication_enforce_update_everywhere_checks = OFF
loose-group_replication_majority_after_mode = ON
loose-group_replication_communication_max_message_size = 10M
loose-group_replication_arbitrator = OFF
loose-group_replication_single_primary_fast_mode = 1
loose-group_replication_request_time_threshold = 100
loose-group_replication_primary_election_mode = GTID_FIRST
loose-group_replication_unreachable_majority_timeout = 0
loose-group_replication_member_expel_timeout = 5
loose-group_replication_autorejoin_tries = 288
loose-group_replication_recovery_get_public_key = ON
loose-group_replication_donor_threshold = 100
report_host = "172.16.16.10"

# InnoDB
innodb_buffer_pool_size = 10240M
innodb_buffer_pool_instances = 8
innodb_data_file_path = ibdata1:12M:autoextend
innodb_file_per_table=1
innodb_flush_log_at_trx_commit = 2
innodb_log_buffer_size = 16M
innodb_log_file_size=1024M
innodb_redo_log_capacity = 6G
innodb_doublewrite_files = 2
innodb_max_undo_log_size = 4G
innodb_io_capacity = 4000
innodb_io_capacity_max = 8000
innodb_open_files = 1000
innodb_flush_method = O_DIRECT
innodb_lru_scan_depth = 4000
innodb_lock_wait_timeout = 10
innodb_rollback_on_timeout = ON
innodb_print_all_deadlocks = ON
innodb_online_alter_log_max_size = 4G
innodb_print_ddl_logs = ON
innodb_status_file = ON
innodb_status_output = OFF
innodb_status_output_locks = ON
innodb_sort_buffer_size = 64M
innodb_adaptive_hash_index = OFF
innodb_numa_interleave = OFF
innodb_spin_wait_delay = 20
innodb_print_lock_wait_timeout_info = ON
innodb_change_buffering = none
kill_idle_transaction = 300
innodb_data_file_async_purge = ON

#innodb monitor settings
#innodb_monitor_enable = "module_innodb,module_server,module_dml,module_ddl,module_trx,module_os,module_purge,module_log,module_lock,module_buffer,module_index,module_ibuf_system,module_buffer_page,module_adaptive_hash"

#pfs settings
performance_schema = 1
#performance_schema_instrument = '%memory%=on'
performance_schema_instrument = '%lock%=on'



【my.cnf第三次配置，使用该配置在麒麟系统下验证过导入同样数据需要8分钟左右，但是在凝思99下需要小时起步】

[client]
socket    = /data/GreatSQL/mysql.sock
[mysql]
loose-skip-binary-as-hex
prompt = "(\\D)[\\u@GreatSQL][\\d]>"
no-auto-rehash
[mysqld]
user    = mysql
port    = 3306
server_id = 3306
basedir = /usr/local/mysql
datadir = /data/GreatSQL
socket  = /data/GreatSQL/mysql.sock
log_error=/var/log/mysql/error.log
pid-file = mysql.pid
secure_file_priv = /data/GreatSQL

#skip_ssl
max_connections=1000
innodb_buffer_pool_size=10240M
table_open_cache=256
tmp_table_size=34M
thread_cache_size=8
skip_name_resolve=1
lower_case_table_names=1
character-set-server=utf8
collation_server=utf8_bin
group_concat_max_len=512000
skip_external_locking=1
max_allowed_packet = 256M
event_scheduler=1
max_prepared_stmt_count=1048448
sync_binlog=0
max_binlog_size=500M
expire_logs_days=10
autocommit=1
innodb_file_per_table=1
innodb_flush_log_at_trx_commit=2
innodb_log_buffer_size=16M
innodb_log_file_size=1024M
innodb_open_files=1000

全部回复(17)
只看楼主
yejr 2025-3-17 09:39:04
导入数据的耗时更大取决于你的服务器硬盘性能，可以先用下面方法对比测试两个环境中分别的结果

  2. time dd oflag=direct if=/dev/zero of=./zero bs=1M count=20480
复制代码


另外，导入数据期间，可以把双1关闭，并尽可能调大innodb_buffer_pool_size，即设置

  2. [size=16px]sync_binlog = 0[/size]
  3. [size=16px]innodb_flush_log_at_trx_commit = 0[/size]
  4. [size=16px]innodb_buffer_pool_size = ## 最大可以设置为物理内存的80%[/size]
复制代码

回复 采纳

举报

Yep. 2025-3-17 10:04:55
yejr 发表于 2025-3-17 09:39
导入数据的耗时更大取决于你的服务器硬盘性能，可以先用下面方法对比测试两个环境中分别的结果

麒麟环境结果：
系统未激洁][rooteserver /]# time dd oflag=direct if=/dev/zero of=./zero bs=1M
ount=20480
记录了20480+0 的读入记录了20480+0的写出
21474836480字节(21GB，20GiB)已复制，180.203S，119MB/S
real
user
SVS
3m0.222s
0m0.043s
0m7.264s


凝思99是在虚拟机的，测出来结果是
root@server:~/Desktop# time dd oflag=direct if=/dev/zero of=./zero bs=1M count=20480
记录了20480+0 的读入
记录了20480+0 的写出
21474836480字节(21 GB)已复制，74.2495 秒，289 MB/秒

real        1m14.255s
user        0m0.156s
sys        0m47.308s


另外，修改这三个参数的值后需要重装数据库或者重新建库建表吗
回复 采纳

举报

yejr 2025-3-17 11:19:00
Yep. 发表于 2025-3-17 10:04
麒麟环境结果：
系统未激洁][rooteserver /]# time dd oflag=direct if=/dev/zero of=./zero bs=1M
ount= ...

这个看着很不科学啊，凝思99基于虚机跑，I/O性能更高，结果导入却更慢？

麻烦提供更多详细信息吧，包括怎么导入的，导入期间在数据库层执行 show processlist 查看数据库状态，以及在os层执行 perf top 观察至少1-2分钟，把这些结果都再贴上来
回复 采纳

举报

Yep. 2025-3-17 17:16:25
yejr 发表于 2025-3-17 11:19
这个看着很不科学啊，凝思99基于虚机跑，I/O性能更高，结果导入却更慢？

麻烦提供更多详细信息吧，包括 ...

我们程序导入数据用的是bind预处理方式，依旧是第三个my.cnf配置，我第二次导入时间变短了，需要23分钟左右，这个系统装不上perf，所以只记录了几次导入期间数据库结果：



  2. (Mon Mar 17 16:43:14 2025)[root@GreatSQL][(none)]>show processlist;
  3. +----+-----------------+----------------------+----------+---------+--------+------------------------+------------------------------------------------------------------------------------------------------+-----------+-----------+---------------+
  4. | Id | User            | Host                 | db       | Command | Time   | State                  | Info                                                                                                 | Time_ms   | Rows_sent | Rows_examined |
  5. +----+-----------------+----------------------+----------+---------+--------+------------------------+------------------------------------------------------------------------------------------------------+-----------+-----------+---------------+
  6. |  5 | event_scheduler | localhost            | NULL     | Daemon  | 265040 | Waiting on empty queue | NULL                                                                                                 | 265039913 |         0 |             0 |
  7. | 29 | root            | 192.168.200.15:49136 | dlsoftdb | Execute |      0 | update                 | insert into dlsoftdb.teleindication values('yx-1-184','YX-184',0,'1','1',1,184,400,'',0,0,0,0,0,0,0, |         4 |         0 |             0 |
  8. | 32 | root            | 192.168.200.15:39574 | dlsoftdb | Sleep   |      1 |                        | NULL                                                                                                 |      1587 |         0 |             0 |
  9. | 33 | root            | localhost            | NULL     | Query   |      0 | init                   | show processlist                                                                                     |         0 |         0 |             0 |
  10. +----+-----------------+----------------------+----------+---------+--------+------------------------+------------------------------------------------------------------------------------------------------+-----------+-----------+---------------+
  11. 4 rows in set (0.00 sec)

  13. (Mon Mar 17 16:44:38 2025)[root@GreatSQL][(none)]>show processlist;
  14. +----+-----------------+----------------------+----------+---------+--------+------------------------+------------------------------------------------------------------------------------------------------+-----------+-----------+---------------+
  15. | Id | User            | Host                 | db       | Command | Time   | State                  | Info                                                                                                 | Time_ms   | Rows_sent | Rows_examined |
  16. +----+-----------------+----------------------+----------+---------+--------+------------------------+------------------------------------------------------------------------------------------------------+-----------+-----------+---------------+
  17. |  5 | event_scheduler | localhost            | NULL     | Daemon  | 265104 | Waiting on empty queue | NULL                                                                                                 | 265103778 |         0 |             0 |
  18. | 29 | root            | 192.168.200.15:49136 | dlsoftdb | Execute |      0 | update                 | insert into dlsoftdb.teleindication values('yx-112-1550','YX-1550',0,'1','1',112,1550,400,'',0,0,0,0 |        18 |         0 |             0 |
  19. | 32 | root            | 192.168.200.15:39574 | dlsoftdb | Sleep   |      5 |                        | NULL                                                                                                 |      5438 |         0 |             0 |
  20. | 33 | root            | localhost            | NULL     | Query   |      0 | init                   | show processlist                                                                                     |         0 |         0 |             0 |
  21. +----+-----------------+----------------------+----------+---------+--------+------------------------+------------------------------------------------------------------------------------------------------+-----------+-----------+---------------+
  22. 4 rows in set (0.00 sec)

  24. (Mon Mar 17 16:45:42 2025)[root@GreatSQL][(none)]>show processlist;
  25. +----+-----------------+----------------------+----------+---------+--------+------------------------+-----------------------------------+-----------+-----------+---------------+
  26. | Id | User            | Host                 | db       | Command | Time   | State                  | Info                              | Time_ms   | Rows_sent | Rows_examined |
  27. +----+-----------------+----------------------+----------+---------+--------+------------------------+-----------------------------------+-----------+-----------+---------------+
  28. |  5 | event_scheduler | localhost            | NULL     | Daemon  | 265285 | Waiting on empty queue | NULL                              | 265284468 |         0 |             0 |
  29. | 29 | root            | 192.168.200.15:49136 | dlsoftdb | Query   |      2 | NULL                   | delete from dlsoftdb.telemetering |      2051 |         0 |         64447 |
  30. | 32 | root            | 192.168.200.15:39574 | dlsoftdb | Sleep   |      6 |                        | NULL                              |      6098 |         0 |             0 |
  31. | 33 | root            | localhost            | NULL     | Query   |      0 | init                   | show processlist                  |         0 |         0 |             0 |
  32. +----+-----------------+----------------------+----------+---------+--------+------------------------+-----------------------------------+-----------+-----------+---------------+
  33. 4 rows in set (0.00 sec)

  35. (Mon Mar 17 16:48:43 2025)[root@GreatSQL][(none)]>show processlist;
  36. +----+-----------------+----------------------+----------+---------+--------+------------------------+------------------------------------------------------------------------------------------------------+-----------+-----------+---------------+
  37. | Id | User            | Host                 | db       | Command | Time   | State                  | Info                                                                                                 | Time_ms   | Rows_sent | Rows_examined |
  38. +----+-----------------+----------------------+----------+---------+--------+------------------------+------------------------------------------------------------------------------------------------------+-----------+-----------+---------------+
  39. |  5 | event_scheduler | localhost            | NULL     | Daemon  | 265496 | Waiting on empty queue | NULL                                                                                                 | 265495059 |         0 |             0 |
  40. | 29 | root            | 192.168.200.15:49136 | dlsoftdb | Execute |      0 | NULL                   | insert into dlsoftdb.telemetering values('yc-105-3592','YC-3592',0,'1','1',0,0,'',105,3592,1,1,1,0,0 |         4 |         0 |             0 |
  41. | 32 | root            | 192.168.200.15:39574 | dlsoftdb | Sleep   |      7 |                        | NULL                                                                                                 |      6653 |         0 |             0 |
  42. | 33 | root            | localhost            | NULL     | Query   |      0 | init                   | show processlist                                                                                     |         0 |         0 |             0 |
  43. +----+-----------------+----------------------+----------+---------+--------+------------------------+------------------------------------------------------------------------------------------------------+-----------+-----------+---------------+
  44. 4 rows in set (0.00 sec)

  46. (Mon Mar 17 16:52:14 2025)[root@GreatSQL][(none)]>show processlist;
  47. +----+-----------------+----------------------+----------+---------+--------+------------------------+------------------+-----------+-----------+---------------+
  48. | Id | User            | Host                 | db       | Command | Time   | State                  | Info             | Time_ms   | Rows_sent | Rows_examined |
  49. +----+-----------------+----------------------+----------+---------+--------+------------------------+------------------+-----------+-----------+---------------+
  50. |  5 | event_scheduler | localhost            | NULL     | Daemon  | 265740 | Waiting on empty queue | NULL             | 265739311 |         0 |             0 |
  51. | 29 | root            | 192.168.200.15:49136 | dlsoftdb | Sleep   |      0 |                        | NULL             |        34 |         0 |             0 |
  52. | 32 | root            | 192.168.200.15:39574 | dlsoftdb | Sleep   |      1 |                        | NULL             |       841 |         0 |             0 |
  53. | 33 | root            | localhost            | NULL     | Query   |      0 | init                   | show processlist |         0 |         0 |             0 |
  54. +----+-----------------+----------------------+----------+---------+--------+------------------------+------------------+-----------+-----------+---------------+
  55. 4 rows in set (0.00 sec)

  57. (Mon Mar 17 16:56:18 2025)[root@GreatSQL][(none)]>show processlist;
  58. +----+-----------------+----------------------+----------+---------+--------+------------------------+------------------+-----------+-----------+---------------+
  59. | Id | User            | Host                 | db       | Command | Time   | State                  | Info             | Time_ms   | Rows_sent | Rows_examined |
  60. +----+-----------------+----------------------+----------+---------+--------+------------------------+------------------+-----------+-----------+---------------+
  61. |  5 | event_scheduler | localhost            | NULL     | Daemon  | 265764 | Waiting on empty queue | NULL             | 265763286 |         0 |             0 |
  62. | 29 | root            | 192.168.200.15:49136 | dlsoftdb | Sleep   |      0 |                        | NULL             |         3 |         0 |             0 |
  63. | 32 | root            | 192.168.200.15:39574 | dlsoftdb | Sleep   |      5 |                        | NULL             |      4803 |         0 |             0 |
  64. | 33 | root            | localhost            | NULL     | Query   |      0 | init                   | show processlist |         0 |         0 |             0 |
  65. +----+-----------------+----------------------+----------+---------+--------+------------------------+------------------+-----------+-----------+---------------+
  66. 4 rows in set (0.00 sec)

  68. (Mon Mar 17 16:56:42 2025)[root@GreatSQL][(none)]>show processlist;                                                                                                                                      
  69. +----+-----------------+----------------------+----------+---------+--------+------------------------+------------------------------------------------------------------------------------------------------+-----------+-----------+---------------+
  70. | Id | User            | Host                 | db       | Command | Time   | State                  | Info                                                                                                 | Time_ms   | Rows_sent | Rows_examined |
  71. +----+-----------------+----------------------+----------+---------+--------+------------------------+------------------------------------------------------------------------------------------------------+-----------+-----------+---------------+
  72. |  5 | event_scheduler | localhost            | NULL     | Daemon  | 265839 | Waiting on empty queue | NULL                                                                                                 | 265838735 |         0 |             0 |
  73. | 29 | root            | 192.168.200.15:49136 | dlsoftdb | Execute |      0 | closing tables         | insert into dlsoftdb.telemetering values('yc-150-5183','YC-5183',0,'1','1',0,0,'',150,5183,1,1,1,0,0 |         3 |         0 |             0 |
  74. | 32 | root            | 192.168.200.15:39574 | dlsoftdb | Sleep   |      0 |                        | NULL                                                                                                 |       215 |         0 |             0 |
  75. | 33 | root            | localhost            | NULL     | Query   |      0 | init                   | show processlist                                                                                     |         0 |         0 |             0 |
  76. +----+-----------------+----------------------+----------+---------+--------+------------------------+------------------------------------------------------------------------------------------------------+-----------+-----------+---------------+
  77. 4 rows in set (0.00 sec)

  79. (Mon Mar 17 16:57:57 2025)[root@GreatSQL][(none)]>show processlist;
  80. +----+-----------------+----------------------+----------+---------+--------+------------------------+------------------------------------------------------------------------------------------------------+-----------+-----------+---------------+
  81. | Id | User            | Host                 | db       | Command | Time   | State                  | Info                                                                                                 | Time_ms   | Rows_sent | Rows_examined |
  82. +----+-----------------+----------------------+----------+---------+--------+------------------------+------------------------------------------------------------------------------------------------------+-----------+-----------+---------------+
  83. |  5 | event_scheduler | localhost            | NULL     | Daemon  | 266040 | Waiting on empty queue | NULL                                                                                                 | 266039051 |         0 |             0 |
  84. | 29 | root            | 192.168.200.15:49136 | dlsoftdb | Execute |      0 | update                 | insert into dlsoftdb.telemetering values('yc-196-5151','YC-5151',0,'1','1',0,0,'',196,5151,1,1,1,0,0 |         3 |         0 |             0 |
  85. | 32 | root            | 192.168.200.15:39574 | dlsoftdb | Sleep   |      1 |                        | NULL                                                                                                 |       427 |         0 |             0 |
  86. | 33 | root            | localhost            | NULL     | Query   |      0 | init                   | show processlist                                                                                     |         0 |         0 |             0 |
  87. +----+-----------------+----------------------+----------+---------+--------+------------------------+------------------------------------------------------------------------------------------------------+-----------+-----------+---------------+
  88. 4 rows in set (0.00 sec)

  90. (Mon Mar 17 17:01:18 2025)[root@GreatSQL][(none)]>show processlist;
  91. +----+-----------------+----------------------+----------+---------+--------+------------------------+------------------------------------------------------------------------------------------------------+-----------+-----------+---------------+
  92. | Id | User            | Host                 | db       | Command | Time   | State                  | Info                                                                                                 | Time_ms   | Rows_sent | Rows_examined |
  93. +----+-----------------+----------------------+----------+---------+--------+------------------------+------------------------------------------------------------------------------------------------------+-----------+-----------+---------------+
  94. |  5 | event_scheduler | localhost            | NULL     | Daemon  | 266411 | Waiting on empty queue | NULL                                                                                                 | 266411002 |         0 |             0 |
  95. | 29 | root            | 192.168.200.15:49136 | dlsoftdb | Execute |      0 | Sending to client      | insert into dlsoftdb.telemetering values('yc-99-5471','YC-5471',0,'1','1',0,0,'',99,5471,1,1,1,0,0,0 |         3 |         0 |             0 |
  96. | 32 | root            | 192.168.200.15:39574 | dlsoftdb | Sleep   |      2 |                        | NULL                                                                                                 |      2301 |         0 |             0 |
  97. | 33 | root            | localhost            | NULL     | Query   |      0 | init                   | show processlist                                                                                     |         0 |         0 |             0 |
  98. +----+-----------------+----------------------+----------+---------+--------+------------------------+------------------------------------------------------------------------------------------------------+-----------+-----------+---------------+
  99. 4 rows in set (0.00 sec)

  101. (Mon Mar 17 17:07:29 2025)[root@GreatSQL][(none)]>show processlist;
  102. +----+-----------------+----------------------+----------+---------+--------+------------------------+------------------+-----------+-----------+---------------+
  103. | Id | User            | Host                 | db       | Command | Time   | State                  | Info             | Time_ms   | Rows_sent | Rows_examined |
  104. +----+-----------------+----------------------+----------+---------+--------+------------------------+------------------+-----------+-----------+---------------+
  105. |  5 | event_scheduler | localhost            | NULL     | Daemon  | 266440 | Waiting on empty queue | NULL             | 266439881 |         0 |             0 |
  106. | 29 | root            | 192.168.200.15:49136 | dlsoftdb | Sleep   |     27 |                        | NULL             |     27412 |         0 |             0 |
  107. | 32 | root            | 192.168.200.15:39574 | dlsoftdb | Sleep   |      1 |                        | NULL             |      1169 |         0 |             0 |
  108. | 33 | root            | localhost            | NULL     | Query   |      0 | init                   | show processlist |         0 |         0 |             0 |
  109. +----+-----------------+----------------------+----------+---------+--------+------------------------+------------------+-----------+-----------+---------------+
  110. 4 rows in set (0.00 sec)

复制代码

回复 采纳

举报

Yep. 2025-3-17 17:24:17
Yep. 发表于 2025-3-17 17:16
我们程序导入数据用的是bind预处理方式，依旧是第三个my.cnf配置，我第二次导入时间变短了，需要23分钟左 ...

这是top结果：

另外，我原本的my.cnf配置中sync_binlog = 0，innodb_flush_log_at_trx_commit = 2，我直接修改innodb_flush_log_at_trx_commit=0的话我在数据库里面用SHOW VARIABLES LIKE 'innodb_flush_log_at_trx_commit';指令查仍然为2，是不是需要重装才能生效
回复 采纳

举报

Yep. 2025-3-17 17:26:42
Yep. 发表于 2025-3-17 17:24
这是top结果：

另外，我原本的my.cnf配置中sync_binlog = 0，innodb_flush_log_at_trx_commit = 2，我直 ...

C:\Users\Lenovo\Pictures\Screenshots\屏幕截图 2025-03-17 172053.png
屏幕截图 2025-03-17 172053.png
回复 采纳

举报

yejr 2025-3-17 17:54:28
Yep. 发表于 2025-3-17 17:26

set global innodb_flush_log_at_trx_commit=0
这样修改即可

看你提供的截图，mysqld进程占用内存非常小，才1g出头，看起来你的 innodb_buffer_pool_size 设置似乎也不对，给的太小了

导入期间os层执行命令 vmstat -S m 1 100 看看

perf最好还是安装一下，才能更清晰排查问题
回复 采纳

举报

Yep. 2025-3-18 09:24:15
yejr 发表于 2025-3-17 17:54
set global innodb_flush_log_at_trx_commit=0
这样修改即可

我修改了innodb_flush_log_at_trx_commit=0，虚拟机内存16G，innodb_buffer_pool_size由10G改为了12G，再次导入时间在17分钟左右

perf安装遇到些问题，凝思那边正在测试还没给反馈。
以下是运行vmstat -S m 1 100结果：
  1. root@server:~/Desktop# vmstat -S m 1 100
  2. procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
  3. r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
  4. 1  0    265    163    198  11502    0    0    11   360  180  150  3  5 91  0  0
  5. 1  0    265    158    198  11507    0    0   256  6276 2610 8887 68 32  0  0  0
  6. 4  0    265    188    197  11477    0    0   256  6380 2476 7811 65 35  0  0  0
  7. 2  0    265    184    197  11481    0    0   128  5352 2557 8444 68 32  0  0  0
  8. 1  0    265    179    197  11486    0    0   256  5860 2570 8593 68 32  0  0  0
  9. 3  0    265    174    197  11491    0    0   256  6228 2641 8599 69 31  0  0  0
  10. 7  0    265    169    197  11496    0    0   256  6116 2599 8428 69 31  0  0  0
  11. 2  0    265    164    197  11501    0    0   128  5756 2494 8758 70 30  0  0  0
  12. 1  0    265    159    197  11506    0    0   256  5812 2517 8621 71 29  0  0  0
  13. 1  0    266    172    197  11493    0    0     0 27748 2481 8746 63 37  0  0  0
  14. 4  0    266    168    197  11498    0    0   256  5700 2533 8485 70 30  0  0  0
  15. 1  0    266    163    197  11503    0    0   256  5528 2583 8535 68 32  0  0  0
  16. 3  0    266    158    197  11508    0    0   256  5672 2485 8520 68 32  0  0  0
  17. 5  0    266    170    197  11495    0    0   128  6640 2519 9118 71 29  0  0  0
  18. 2  0    266    165    197  11500    0    0   256  5720 2505 8647 69 31  0  0  0
  19. 4  0    266    161    197  11505    0    0   256  5560 2586 8890 69 31  0  0  0
  20. 4  0    266    174    195  11495    0    0   256  6172 2600 8478 68 32  0  0  0
  21. 1  0    266    169    195  11500    0    0   128  5924 2492 8591 69 31  0  0  0
  22. 2  0    266    180    193  11489    0    0   364  5900 2476 7886 64 36  0  0  0
  23. 3  0    266    176    193  11494    0    0   300  5484 2534 8651 71 29  0  0  0
  24. 1  0    266    172    193  11498    0    0     4  6428 2642 8984 63 37  0  0  0
  25. 1  0    266    167    193  11503    0    0   256  5936 2542 8562 66 34  0  0  0
  26. 1  0    266    163    193  11508    0    0   128  5840 2478 8313 70 30  0  0  0
  27. 1  0    266    174    193  11495    0    0   256  6292 2497 8925 70 30  0  0  0
  28. 3  0    266    170    193  11500    0    0   256  5592 2411 8369 72 28  0  0  0
  29. 2  0    266    165    193  11505    0    0   256  5944 2453 8550 69 31  0  0  0
  30. 1  0    266    160    193  11510    0    0   128  6320 2442 8660 68 32  0  0  0
  31. 1  0    266    173    190  11500    0    0   256  5952 2493 8752 71 29  0  0  0
  32. 7  0    266    168    190  11505    0    0   256  5664 2428 8131 68 32  0  0  0
  33. 1  0    266    163    190  11509    0    0   256  5808 2547 8230 68 32  0  0  0
  34. procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
  35. r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
  36. 2  0    266    159    190  11514    0    0   128  5620 2522 8531 68 32  0  0  0
  37. 2  0    266    172    190  11501    0    0   132  6172 2541 8723 67 33  0  0  0
  38. 1  0    266    167    190  11506    0    0   128  5676 2504 8772 68 32  0  0  0
  39. 4  0    266    162    190  11510    0    0   256  5676 2504 8502 68 32  0  0  0
  40. 3  0    266    158    190  11515    0    0   256  5856 2469 8249 69 31  0  0  0
  41. 1  0    267    170    182  11510    0    0   256  6028 2465 8443 70 30  0  0  0
  42. 1  0    267    165    182  11515    0    0   128  5884 2582 8791 69 31  0  0  0
  43. 2  0    267    161    182  11520    0    0   256  5600 2590 8428 69 31  0  0  0
  44. 1  0    267    173    181  11508    0    0   256  6252 2502 8536 68 32  0  0  0
  45. 5  0    267    169    181  11513    0    0   256  5804 2483 8011 67 33  0  0  0
  46. 2  0    267    164    181  11517    0    0   128  5616 2533 8510 69 31  0  0  0
  47. 4  0    267    160    181  11522    0    0     0 30880 2447 8206 60 40  0  0  0
  48. 1  0    267    173    175  11515    0    0   256  5656 2462 8427 65 35  0  0  0
  49. 1  0    267    168    175  11520    0    0   256  5848 2591 8637 69 31  0  0  0
  50. 4  0    267    164    175  11525    0    0   256  5960 2503 8339 70 30  0  0  0
  51. 4  0    267    159    175  11529    0    0   128  5576 2504 8184 69 31  0  0  0
  52. 1  0    267    172    173  11518    0    0   256  5908 2526 8599 70 30  0  0  0
  53. 1  0    267    167    173  11523    0    0   256  6024 2518 8269 69 31  0  0  0
  54. 3  0    267    162    173  11527    0    0   128  5544 2479 8428 64 36  0  0  0
  55. 2  0    267    176    168  11519    0    0   128  5528 2533 8221 63 37  0  0  0
  56. 2  0    267    171    168  11524    0    0   128  5880 2588 8952 70 30  0  0  0
  57. 1  0    267    167    168  11528    0    0   256  5652 2479 8026 66 34  0  0  0
  58. 1  0    267    163    168  11532    0    0   256  5896 2500 8129 71 29  0  0  0
  59. 5  0    267    159    168  11536    0    0   260  6020 2492 8618 69 31  0  0  0
  60. 1  0    267    173    165  11524    0    0   128  5656 2570 8398 67 33  0  0  0
  61. 2  0    267    169    165  11528    0    0   128  5628 2470 8801 69 31  0  0  0
  62. 1  0    267    165    165  11533    0    0   128  6740 2552 8547 72 28  0  0  0
  63. 4  0    267    161    165  11538    0    0   256  5748 2511 8849 68 32  0  0  0
  64. 4  0    268    174    160  11529    0    0   256  5872 2469 8436 70 30  0  0  0
  65. 2  0    268    169    160  11534    0    0   128  5360 2521 8500 72 28  0  0  0
  66. procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
  67. r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
  68. 2  0    268    164    161  11539    0    0   256  6124 2496 8619 73 27  0  0  0
  69. 3  0    268    159    161  11543    0    0   256  5540 2569 8593 68 32  0  0  0
  70. 1  0    268    173    156  11534    0    0   256  5844 2457 7856 65 35  0  0  0
  71. 1  0    268    169    156  11538    0    0   256  5720 2410 7965 67 33  0  0  0
  72. 2  0    268    164    156  11543    0    0   128  6092 2566 9034 69 31  0  0  0
  73. 1  0    268    158    156  11548    0    0   256  5784 2441 8157 66 34  0  0  0
  74. 4  0    268    171    156  11535    0    0     0  5596 2518 9034 67 33  0  0  0
  75. 1  0    268    167    156  11540    0    0   256  5896 2524 8440 68 32  0  0  0
  76. 1  0    268    163    156  11544    0    0   256  6624 2552 8705 67 33  0  0  0
  77. 1  0    268    159    156  11548    0    0   128  5824 2566 8583 67 33  0  0  0
  78. 1  0    268    172    156  11535    0    0   256  5956 2493 9183 70 30  0  0  0
  79. 1  0    268    167    156  11539    0    0   256  5792 2570 8874 72 28  0  0  0
  80. 1  0    268    163    156  11544    0    0   260 30960 2543 8774 64 36  0  0  0
  81. 1  0    268    158    156  11548    0    0   128  5864 2576 8747 73 27  0  0  0
  82. 3  0    268    171    156  11535    0    0   256  5628 2479 8438 70 30  0  0  0
  83. 2  0    268    167    156  11540    0    0   256  5736 2518 8607 70 30  0  0  0
  84. 1  0    268    162    156  11545    0    0   256  6360 2591 8526 69 31  0  0  0
  85. 2  0    268    174    156  11532    0    0   128  6288 2602 9044 68 32  0  0  0
  86. 2  0    268    170    156  11536    0    0   256  5884 2569 8379 70 30  0  0  0
  87. 1  0    268    165    156  11540    0    0     0  5456 2571 8722 59 41  0  0  0
  88. 4  0    268    162    156  11545    0    0   256  5352 2646 8439 68 32  0  0  0
  89. 1  0    268    173    156  11532    0    0   256  5876 2576 8413 68 32  0  0  0
  90. 1  0    268    170    156  11536    0    0   128  5960 2488 8329 70 30  0  0  0
  91. 5  0    268    165    157  11541    0    0   256  5992 2520 8566 70 30  0  0  0
  92. 1  0    268    161    157  11545    0    0   256  5356 2533 8245 71 29  0  0  0
  93. 3  0    268    173    157  11532    0    0   256  6224 2502 8198 70 30  0  0  0
  94. 1  0    268    169    157  11537    0    0   260  6196 2567 8754 71 29  0  0  0
  95. 1  0    268    164    157  11541    0    0   128  6048 2545 8762 70 30  0  0  0
  96. 1  0    268    159    157  11546    0    0   256  5776 2561 8665 70 30  0  0  0
  97. 1  0    268    173    157  11533    0    0   128  5676 2532 8830 70 30  0  0  0
  98. procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
  99. r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
  100. 3  0    268    169    157  11536    0    0   256  6276 2573 8846 71 29  0  0  0
  101. 2  0    268    165    157  11541    0    0   128  5676 2566 9160 68 32  0  0  0
  102. 1  0    268    162    157  11544    0    0   128  5768 2588 8283 68 32  0  0  0
  103. 2  0    268    174    157  11531    0    0   256  6372 2612 9078 70 30  0  0  0
  104. 1  0    268    169    157  11536    0    0   256  6168 2547 9456 70 30  0  0  0
  105. 2  0    268    164    157  11541    0    0   256  5756 2664 9688 67 33  0  0  0
  106. 3  0    268    160    157  11546    0    0   128  5432 2514 8107 65 35  0  0  0
  107. 2  0    268    173    157  11532    0    0   256  5668 2605 7928 64 36  0  0  0
  108. 2  0    268    169    157  11537    0    0   256  5696 2671 8476 67 33  0  0  0
  109. 2  0    268    164    157  11542    0    0   256  6128 2574 8707 68 32  0  0  0
复制代码
top图：



回复 采纳

举报

caihe.li 2025-3-18 10:06:53
yejr 发表于 2025-3-17 09:39
导入数据的耗时更大取决于你的服务器硬盘性能，可以先用下面方法对比测试两个环境中分别的结果

冒昧留言，我看了下。配置文件一和配置文件二分别都是MGR 配置文件三是单机 这个是不是已经排除掉了。MGR事务的提交本身就是比单机的要慢，开销更大
回复 采纳

举报

下一页 »
12下一页
Yep.

1

主题

0

博客

18

贡献

新手上路

Rank: 1

积分
29

助人为乐（铜）

发消息
互动与交流
社区活动
论坛问答
加入社区
贡献者指南
学习与应用
文章博客
文档资料
视频资料
常见问题
发现社区
社区准则
建议反馈
社区之星

合作电话：010-64087828

社区邮箱：greatsql@greatdb.com

社区公众号
社区小助手
QQ群
友情链接
万里数据库开源中国墨天轮开放原子开源基金会OpenEuler
©2022 GreatSQL All Rights Reserved. ( 京ICP备06057874号 )
GMT+8, 2025-4-3 23:56 , Processed in 0.037457 second(s), 19 queries , Redis On.
快速回复 返回顶部 返回列表