点击参与 GreatSQL 8.0.32-26 文档捉虫~~~

GreatSQL社区

搜索

[已解决] mgr成员SECONDARY角色的io特别高，

853 3 2023-11-1 11:25
环境描述：
CentOS 7.9  3.10.0-1160.62.1.el7.x86_64
mysql 8.0.22 mgr环境

问题描述：

通过iostat -x -k 1查看SECONDARY角色服务器的io，发现写入很高，400-500M/s左右。查看网络流量，也不是特别高，数据同步主库的流量也不大， iotop看mysql最大的写入才10-30M左右，mysql show processlist也没有卡的thread，开启了super_read_only的。执行stop group_replication后写入就降下来了，做了两次对比，可以看出是mgr造成的，这个么高的写入是在干啥呢，有什么方法定位什么进程再写，写什么?

  2. <div># iostat 查看io结果
  3. avg-cpu:  %user   %nice %system %iowait  %steal   %idle
  4.           20.51    0.00    7.44    4.68    0.00   67.37

  6. Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
  7. sda               0.00     1.00  105.00 6629.00  1944.00 404744.50   120.79     2.39    0.36   16.96    0.09   0.12  77.80
  8. sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

  10. avg-cpu:  %user   %nice %system %iowait  %steal   %idle
  11.           22.88    0.00    7.78    3.15    0.00   66.20

  13. Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
  14. sda               0.00     4.00   66.00 8575.00  1016.00 434029.50   100.69     2.00    0.23   15.45    0.11   0.07  64.50
  15. sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

  17. # sar 网卡流量结果

  19. <div>10:37:37 AM     IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s
  20. 10:37:38 AM      eno1     49.00      0.00      4.48      0.00      0.00      0.00      3.00
  21. 10:37:38 AM      eno2   3551.00   2607.00   2156.61    453.79      0.00      0.00      4.00
  22. 10:37:38 AM      eno3   2050.00      0.00    796.99      0.00      0.00      0.00      6.00
  23. 10:37:38 AM      eno4   5592.00      0.00   2820.35      0.00      0.00      0.00      7.00
  24. 10:37:38 AM        lo     50.00     50.00     12.73     12.73      0.00      0.00      0.00

  26. 10:37:38 AM     IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s
  27. 10:37:39 AM      eno1     39.00      0.00      2.52      0.00      0.00      0.00      2.00
  28. 10:37:39 AM      eno2   1727.00    720.00   1954.22    100.96      0.00      0.00      3.00
  29. 10:37:39 AM      eno3   1671.00      0.00    556.97      0.00      0.00      0.00      3.00
  30. 10:37:39 AM      eno4   5938.00      0.00   3517.33      0.00      0.00      0.00      9.00
  31. 10:37:39 AM        lo      2.00      2.00      0.10      0.10      0.00      0.00      0.00</div>

  33. # iotop

  35. <div>Total DISK READ :     237.74 K/s | Total DISK WRITE :   23189.81 K/s  
  36. Actual DISK READ:     239.31 K/s | Actual DISK WRITE:  307229.52 K/s</div></div>
复制代码



MGR, MySQL, CentOS
全部回复(3)
只看楼主
yejr 2023-11-2 21:58:47
参考文档：https://greatsql.cn/docs/8032/us ... r%E7%9B%91%E6%8E%A7

看看MGR的状态监控，估计是在追primary节点发送过来的事务
回复 采纳

举报

running_db 2023-11-3 11:00:02
yejr 发表于 2023-11-2 21:58
参考文档：https://greatsql.cn/docs/8032/user-manual/6-oper-guide/3-monitoring-and-alerting.html#_4-m ...

差距很小。还有一个mgr节点，io没这么高，大约60-100M左右，不像这个达到300-500左右。


  1. +--------------------------------------+--------------------+-----------------------+------------+-----------+------------+
  2. | id                                   | trx_tobe_certified | relaylog_tobe_applied | trx_chkd   | trx_done  | proposed   |
  3. +--------------------------------------+--------------------+-----------------------+------------+-----------+------------+
  4. | 45963125-934f-11ed-b244-9418820bd775 |                  0 |                     0 |   54580490 |  54580502 |          0 |
  5. | 4ced7a3e-38fa-11eb-bcc5-0242ac10000a |                  0 |                    11 |  223563784 | 223563776 |          0 |
  6. | 5fac9d16-f652-11ed-9a51-d4f5ef7d2e2c |                  0 |                     0 | 2458887987 |    189112 | 2458699014 |
  7. +--------------------------------------+--------------------+-----------------------+------------+-----------+------------+
  8. 3 rows in set (0.00 sec)

  10. *************************** 1. row ***************************
  11. RECEIVED_TRANSACTION_SET: 0bb4dd22-35d1-11eb-8cf4-00155d011502:1-2884547767
  12. *************************** 2. row ***************************
  13. RECEIVED_TRANSACTION_SET: 0bb4dd22-35d1-11eb-8cf4-00155d011502:1-2884547767
复制代码

回复 采纳

举报

yejr 2023-11-5 22:59:58
running_db 发表于 2023-11-3 11:00
差距很小。还有一个mgr节点，io没这么高，大约60-100M左右，不像这个达到300-500左右。

那就用iotop好好排查下
回复 采纳

举报

running_db

9

主题

0

博客

43

贡献

注册会员

Rank: 2

积分
70

助人为乐（铜）勤学好问（铜）

发消息
互动与交流
社区活动
论坛问答
加入社区
贡献者指南
学习与应用
文章博客
文档资料
视频资料
常见问题
发现社区
社区准则
建议反馈
社区之星

合作电话：010-64087828

社区邮箱：greatsql@greatdb.com

社区公众号
社区小助手
QQ群
友情链接
万里数据库开源中国墨天轮开放原子开源基金会OpenEuler
©2022 GreatSQL All Rights Reserved. ( 京ICP备06057874号 )
GMT+8, 2024-11-23 20:02 , Processed in 0.020046 second(s), 15 queries , Redis On.
快速回复 返回顶部 返回列表