GreatSQL社区

搜索

[已解决] COUNT_TRANSACTIONS_REMOTE_IN_APPLIER_QUEUE值只能通过重启才能释放?

467 6 2023-12-12 10:27
环境:8.0.25  Greatsql-MGR

1、节点所有机器的配置都是一样,无任何差异
2、该节点没有承担额外的负载,基本无读
3、CPU负载基本在20%以下,问题期间该节点的CPU信息和QPS信息
1.png 2.png
4、磁盘I/O最高在60%,负载都很低
5、死锁信息
3.png

1、生产业务设计中有大量的replace into,导致MGR其中一个节点的COUNT_TRANSACTIONS_REMOTE_IN_APPLIER_QUEUE一值增加,导致主节点的commit、update、insert越来越慢,最后接近5s。(产生大量的锁冲突)

2、开发侧修改了一部分replace into的逻辑。死锁不再继续增加。
3、选择关闭从节点的锁冲突检测,然依然没有降低,依然持续上升。
4、最终选择重启该节点,重启从新加入MGR集群,COUNT_TRANSACTIONS_IN_QUEUE重新回放

5、回放结束后,该节点恢复正常,主节点commit、update、insert恢复正常

6、COUNT_TRANSACTIONS_REMOTE_IN_APPLIER_QUEUE监控中的这个值,目前只能通过重启重新回放才能恢复吗?还是通过其他方式可以降低和解决这个等待事务?


全部回复(6)
yejr 2023-12-12 11:15:58
请补充几个信息:
1、 有问题的这个节点机器硬件配置是否比其他节点更差;
2、 该节点是否还承担额外的负载,比如更多读写请求、备份请求、数据分析请求等;
3、 提供该节点上负载相关数据,执行下面几个命令采集:
数据库里执行:SHOW ENGINE INNODB STATUS\G
系统层执行:vmstat -S m 1 100
chongzh 2023-12-12 14:03:21
https://dev.mysql.com/doc/refman ... er-stats-table.html 中提到: TRUNCATE TABLE is not permittedfor the replication_group_member_statstable.  
如果InApplierQueueCount一直在增加,建议检查InnoDB集群中每个节点的系统资源,以确保它们能够处理复制负载。应该检查每个节点的CPU、内存、磁盘I/O和网络带宽利用率,以验证这些资源没有被过度利用。
喜欢就关注我公众号:DBA烂笔头
yejr 2023-12-12 14:43:15
该节点重启结束后,是否还会再次出现同样问题,及COUNT_TRANSACTIONS_REMOTE_IN_APPLIER_QUEUE队列越积越大?

从截图信息来看,似乎这个节点的层磁盘I/O能力出问题了,导致有大量事务处于等待被提交状态(事务是PREPARED状态)。
myron_mei 2023-12-12 22:56:21
yejr 发表于 2023-12-12 14:43
该节点重启结束后,是否还会再次出现同样问题,及COUNT_TRANSACTIONS_REMOTE_IN_APPLIER_QUEUE队列越积越大 ...

1、重启该节点结束后没有再出同样的问题,队列也没越积越大
2、磁盘I/O我再去确认下,问题当天检查下来是没有任何问题的
myron_mei 2023-12-12 22:57:55
chongzh 发表于 2023-12-12 14:03
https://dev.mysql.com/doc/refman/8.0/en/performance-schema-replication-group-member-stats-table.html ...

1、资源问题已补充到帖子中
2、我再研究下官网的解释
yejr 2023-12-13 10:11:38
myron_mei 发表于 2023-12-12 22:57
1、资源问题已补充到帖子中
2、我再研究下官网的解释

2、开发侧修改了一部分replace into的逻辑。死锁不再继续增加。
===
可以尝试回滚这个工作,验证是否它引起的。
我认为大概率还是底层磁盘I/O问题导致的。
myron_mei

2

主题

0

博客

9

贡献

新手上路

Rank: 1

积分
15

合作电话:010-64087828

社区邮箱:greatsql@greatdb.com

社区公众号
社区小助手
QQ群
GMT+8, 2024-5-17 09:12 , Processed in 0.026704 second(s), 20 queries , Redis On.
快速回复 返回顶部 返回列表