greatesql-8.0.32-25 压测的时候出现性能抖动

各节点的机器配置以及GreatSQL参数选项设置和 https://greatsql.cn/thread-719-1-1.html 这里的是一样的吗

请提供压测期间 vmstat -S m 1 100 负载观测数据，并最好同时也提供 `perf record -g -a -p `pidof mysqld` -- sleep 30` 的结果

yejr 发表于 2024-4-20 14:48
各节点的机器配置以及GreatSQL参数选项设置和 https://greatsql.cn/thread-719-1-1.html 这里的是一样的吗
...

1、配置是一样的
下图是我用128threads压测  也会出现性能抖动
2、[root@mgr-node1 data]# vmstat -S m 1 100
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
72  0      0    775    147  35287    0    0    11   216    0    0  0  0 99  0  0
9  2      0    741    147  35325    0    0     0 715012 1163153 1574324 53 13 33  1  0
140  0      0    691    147  35372    0    0     0 559612 1048428 1583195 54 13 32  1  0
67  3      0    791    147  35276    0    0     0 465880 1748325 1572358 53 13 33  1  0
96  2      0    778    147  35290    0    0     0 713448 1196782 1583365 53 13 33  1  0
1  1      0    746    147  35333    0    0     0 652640 559750 817756 25  6 68  0  0
98  1      0    710    147  35344    0    0     0 557960 1288859 1163974 40 10 50  0  0
58  1      0    668    147  35389    0    0     0 622576 1438116 1601763 53 13 33  1  0
40  2      0    786    147  35280    0    0     0 772512 1120681 1529299 51 13 35  1  0
101  2      0    754    147  35310    0    0     0 548688 1061983 1572827 53 13 33  1  0
75  2      0    693    147  35353    0    0     0 665912 1558388 1557561 53 14 33  1  0
23  1      0    662    147  35396    0    0     0 569368 1364374 1559056 53 13 33  1  0
93  1      0    787    147  35280    0    0     0 567712 1018041 1583737 53 13 33  1  0
82  3      0    746    147  35315    0    0     0 469112 1248035 1572642 54 13 32  1  0
0  1      0    732    147  35330    0    0     0 578896 143767 209073  5  1 94  0  0
39  1      0    690    147  35360    0    0     0 434064 1876286 1409136 48 12 40  0  0
87  3      0    692    147  35371    0    0     4 501172 1077859 1554489 53 13 33  1  0
49  3      0    731    147  35339    0    0     0 669648 1054170 1568069 53 13 34  1  0
95  1      0    669    147  35380    0    0     0 604096 1641296 1531009 53 14 33  1  0
94  1      0    793    147  35273    0    0     0 591040 1863655 1582923 55 14 31  1  0
47  0      0    748    147  35317    0    0     0 580564 1068211 1604894 54 13 32  1  0
56  2      0    699    147  35365    0    0  1452 622184 955615 1573770 53 13 33  1  0
68  1      0    664    147  35400    0    0     0 598504 1137856 1105693 36  9 55  1  0
58  0      0    795    147  35268    0    0     0 635912 1510711 1511411 51 13 36  1  0
37  1      0    770    147  35297    0    0     0 518276 1066001 1584010 54 13 33  1  0
120  4      0    710    147  35342    0    0     0 548240 1347706 1574906 54 13 33  1  0
83  3      0    675    147  35384    0    0     0 476404 1618553 1458447 50 13 36  1  0
88  0      0    675    147  35393    0    0     0 679020 1025746 1568568 53 13 33  1  0
79  2      0    665    147  35395    0    0     0 584368 1080931 1556333 53 13 33  1  0
74  1      0    782    147  35287    0    0     0 544864 1569982 1537875 54 13 32  1  0
89  1      0    737    147  35313    0    0     0 605056 1755044 1450788 48 12 39  1  0
84  1      0    713    147  35353    0    0     0 653144 817048 1434936 48 12 39  1  0
117  0      0    671    147  35391    0    0     0 493160 791000 1387222 48 12 40  1  0
44  4      0    790    147  35276    0    0     0 620420 1596863 1566986 54 13 33  1  0
93  1      0    747    147  35300    0    0     0 652272 1892585 1567470 52 13 35  1  0
85  1      0    711    147  35345    0    0     0 532624 876952 1586089 55 13 32  1  0
139  2      0    676    147  35391    0    0     0 624952 863893 1579126 53 13 34  1  0
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
91  1      0    780    147  35278    0    0     0 649268 2042676 1523060 52 13 35  1  0
128  2      0    744    147  35315    0    0     0 542448 1553823 1571215 54 13 33  1  0
48  0      0    693    147  35360    0    0     0 621920 956136 1578382 54 13 32  1  0
46  1      0    662    147  35408    0    0     0 646980 948703 1604729 54 13 33  1  0
123  1      0    761    147  35286    0    0    24 464200 2182348 1566673 53 13 33  1  0
122  2      0    725    147  35328    0    0     0 640136 1353359 1549134 52 13 34  1  0
88  1      0    692    147  35375    0    0     0 680488 886753 1589849 53 13 33  1  0
67  2      0    675    147  35399    0    0     0 618292 1123181 1603447 54 14 32  1  0
52  1      0    791    147  35279    0    0     0 560628 1922023 1590201 53 13 33  1  0
130  1      0    737    147  35318    0    0     0 597612 1153777 1541282 52 13 34  1  0
82  2      0    696    147  35369    0    0  5628 497092 989353 1587271 55 13 32  1  0
100  1      0    677    147  35383    0    0 15180 668252 1440969 1561901 52 13 34  1  0
31  0      0    683    147  35376    0    0     4 660340 1414563 1578704 54 13 32  1  0
51  2      0    677    147  35374    0    0     0 471728 1045645 1547791 54 13 33  0  0
43  1      0    758    147  35286    0    0     0 633456 1782028 1558480 54 13 32  1  0
33  1      0    714    147  35319    0    0   136 612740 1699390 1596925 53 13 34  1  0
80  2      0    658    147  35369    0    0    16 632464 920137 1561751 53 13 33  1  0
42  0      0    788    147  35241    0    0     0 614196 1284378 1442117 50 12 38  1  0
48  1      0    735    147  35282    0    0     0 576812 1539625 1560846 54 13 33  1  0
43  1      0    696    147  35330    0    0     0 575120 1371183 1572977 53 13 34  1  0
66  3      0    790    147  35231    0    0     0 600420 1054690 1588388 54 13 32  1  0
73  2      0    769    147  35272    0    0     0 685348 1055853 1573765 53 13 33  1  0
81  0      0    679    147  35351    0    0 26780 571592 1620269 1548692 54 13 32  1  0
81  2      0    682    147  35325    0    0 49284 548084 1154553 1515620 52 13 35  1  0
19  1      0    752    147  35218    0    0 42424 667316 1053365 1522227 52 13 35  1  0
91  1      0    704    147  35258    0    0     0 635132 1107580 1553225 53 13 34  1  0
124  1      0    677    147  35295    0    0     0 595356 1360504 1574405 54 13 33  1  0
30  2      0    778    147  35187    0    0     0 571188 1465606 1586327 53 13 33  1  0
35  1      0    724    147  35240    0    0  3092 592896 1097240 1558549 53 13 33  1  0
90  1      0    756    147  35286    0    0  7696 565176 1638904 1529611 53 13 33  1  0
141  3      0    729    147  35327    0    0     0 645052 1572734 1564107 52 13 34  1  0
49  2      0    694    147  35375    0    0     0 670072 889150 1602703 54 13 33  1  0
111  1      0    654    147  35425    0    0     0 569840 887132 1582557 54 13 33  1  0
101  1      0    768    147  35284    0    0     0 629668 1682984 1553687 53 13 33  1  0
86  3      0    733    147  35207    0    0  2968 520356 1424013 1461928 50 13 37  1  0
73  1      0    721    147  35220    0    0     0 559156 1047099 1463301 50 13 36  1  0
44  1      0    742    147  35188    0    0     0 517592 1639002 1371438 49 14 36  1  0
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
112  0      0    699    147  35225    0    0     0 536396 2274231 1377064 51 15 33  1  0
106  1      0    752    147  35163    0    0     0 679208 1689570 1391721 50 14 35  1  0
13  2      0    699    147  35215    0    0     0 617560 1350362 1435495 53 15 32  1  0
32  1      0    686    147  35230    0    0     0 532952 1364995 1393994 51 15 34  0  0
50  3      0    730    147  35173    0    0     0 643084 2617060 1371318 49 15 36  1  0
59  1      0    703    147  35213    0    0     0 589112 1358351 1410389 51 15 34  1  0
69  1      0    672    147  35244    0    0     0 577260 1351544 1406940 52 15 33  1  0
68  1      0    748    147  35168    0    0     0 630880 1724297 1354355 50 15 35  1  0
96  1      0    668    147  35246    0    0     0 570372 2133563 1403582 51 15 34  1  0
51  1      0    744    147  35158    0    0     0 475228 1544143 1408012 52 15 33  0  0
103  1      0    673    147  35239    0    0     0 666588 1347400 1351905 50 14 35  1  0
80  2      0    746    147  35145    0    0     0 585592 2025874 1358319 51 15 33  1  0
109  1      0    692    147  35196    0    0   208 524944 1917954 1474021 52 14 33  1  0
91  0      0    672    147  35239    0    0     0 742304 875289 1543120 54 13 33  1  0
30  0      0    788    147  35120    0    0     0 609216 984049 1542069 54 13 32  1  0
92  3      0    715    147  35173    0    0  2956 597484 1869531 1448750 51 13 35  1  0
81  0      0    817    147  35214    0    0     0 655928 1723838 1551041 53 13 34  1  0
115  0      0    780    147  35257    0    0     0 604704 871486 1586289 54 13 33  1  0
81  1      0    743    147  35303    0    0     0 451604 922923 1584548 54 13 32  1  0
54  2      0    688    147  35352    0    0     0 698900 1683786 1568547 52 13 34  1  0
48  2      0    790    147  35252    0    0   180 606744 1080399 1596809 54 13 32  1  0
103  0      0    768    147  35279    0    0     0 622212 1116134 1585562 53 13 33  1  0
0  0      0    734    147  35322    0    0     0 705432 707699 1001746 32  8 59  1  0
89  0      0    685    147  35342    0    0     0 563808 2096801 1187997 40 10 49  0  0
41  1      0    664    147  35384    0    0     0 550732 1037903 1588232 54 13 33  1  0
88  2      0    785    147  35262    0    0     0 704060 1051758 1575831 53 13 33  1  0



3perf.data  这个用perf report 看是空白的

mabai 发表于 2024-4-20 17:12
1、配置是一样的
下图是我用128threads压测  也会出现性能抖动
2、[root@mgr-node1 data]# vmstat -S m 1  ...

那运行perf top，持续几分钟后截图也行

mabai 发表于 2024-4-20 17:12
1、配置是一样的
下图是我用128threads压测  也会出现性能抖动
2、[root@mgr-node1 data]# vmstat -S m 1  ...

从这个结果来看，CPU负载过分地高了，应该是某些地方存在瓶颈

试着把sysbench压测客户端和MGR的primary节点放在一起，走本地unix socket方式连接压测再观察

yejr 发表于 2024-4-20 19:47
从这个结果来看，CPU负载过分地高了，应该是某些地方存在瓶颈

试着把sysbench压测客户端和MGR的primary ...

我是放在一起的，但是采用的是连接VIP的模式，我把numa打开了

yejr 发表于 2024-4-20 19:47
从这个结果来看，CPU负载过分地高了，应该是某些地方存在瓶颈

试着把sysbench压测客户端和MGR的primary ...

这是压测了400多秒时候的截图

mabai 发表于 2024-4-20 23:41
这是压测了400多秒时候的截图

请再做几个尝试
1. 关闭NUMA；
2. sysbench改用unix socket方式连接，不走tcp
3. 观察错误日志，看看是否有类似 "[Repl] Plugin group_replication reported: 'MGR request time" 这样的事件

yejr 发表于 2024-4-22 08:57
请再做几个尝试
1. 关闭NUMA；
2. sysbench改用unix socket方式连接，不走tcp

1、已关闭numa
2、新增了--mysql-socket参数
3、 没有出现 类似的时间

性能基本无抖动。

想额外请教一个问题，压测过程当中发现延迟较为严重，在20分钟以上

mabai 发表于 2024-4-22 10:49
1、已关闭numa
2、新增了--mysql-socket参数
3、 没有出现 类似的时间

请问你怎么确认延迟20分钟的呢，通过观测哪些指标