基于docker容器建立的MRG集群，如何实现VIP

日志中的报错信息类似于：
2024-08-11T23:50:09.185756+08:00 0 [ERROR] [MY-000000] [Server] Plugin greatdb_ha reported: 'bind AF_INET SIOCSIFADDR Operation not permitted'
2024-08-11T23:50:09.185796+08:00 0 [ERROR] [MY-000000] [Server] Plugin greatdb_ha reported: 'try to bind vip : 172.16.0.10 failed'

不建议在Docker里使用VIP，意义不大。

非要用的话，可以参考这位同学的做法  https://gitee.com/GreatSQL/Great ... ?from=project-issue

yejr 发表于 2024-8-12 11:52
不建议在Docker里使用VIP，意义不大。

非要用的话，可以参考这位同学的做法  https://gitee.com/GreatSQL/ ...

话是这么说不错，但是处于技术的研究层面，还是想把它实现了。
这个引用的连接里说到：“感谢大佬的支持，在容器里面setcap加上NET_ADMIN的权限就能设vip，我们在centos7.9容器里面是可以正常设置vip并开启集群的，这个欧拉里面就不行，但是我们现在因国产化替代，必须要使用欧拉的系统，大佬有没有什么处理思路”
他在容器里setcap加上NET_ADMIN的权限就能设vip，而我就是不行，试了好几次，有点搞不明白了，容器肯定是支持VIP的，我手动操作网卡都可以，但是启动MGR就报没权限，无语

lingoYS 发表于 2024-8-13 09:58
话是这么说不错，但是处于技术的研究层面，还是想把它实现了。
这个引用的连接里说到：“感谢大佬的支持 ...

我猜应该是在启动容器时，要加上  --privileged 参数提权，不过还是再次强调仅用于实验。

yejr 发表于 2024-8-13 10:39
我猜应该是在启动容器时，要加上  --privileged 参数提权，不过还是再次强调仅用于实验。 ...

这个我是加了的：
docker run --privileged -d \
--name mgr1  \
--hostname=mgr1 \
--net=mgr-net \
--ip 172.19.0.21 \
--add-host "mgr1:172.19.0.21" \
--add-host "mgr2:172.19.0.22" \
--add-host "mgr3:172.19.0.23" \
-e TZ="Asia/Shanghai" \
-e MYSQL_ROOT_PASSWORD='Abc_123456' \
-e MYSQL_IBP=128M \
-e MYSQL_MGR_NAME='aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaa1' \
-e MYSQL_MGR_LOCAL='mgr1:33061' \
-e MYSQL_MGR_SEEDS='mgr1:33061,mgr2:33061,mgr3:33061' \
-e MYSQL_INIT_MGR=1 \
-e MYSQL_MGR_USER='repl' \
-e MYSQL_MGR_USER_PWD='repl@8888' \
-e MAXPERF=0 \
registry.cn-beijing.aliyuncs.com/greatsql/greatsql:8.0.32-25

lingoYS 发表于 2024-8-13 10:52
这个我是加了的：
docker run --privileged -d \
--name mgr1  \

对了，说到这，我正好顺便建议一下叶哥，可以在官网和git的文档中，增加 -e TZ="Asia/Shanghai" 参数，这样时区就对了，否则系统时间和日志时间都晚了8小时。

lingoYS 发表于 2024-8-13 10:54
对了，说到这，我正好顺便建议一下叶哥，可以在官网和git的文档中，增加 -e TZ="Asia/Shanghai" 参数，这 ...

谢谢建议，我自己先测试验证下 ：）

lingoYS 发表于 2024-8-13 10:52
这个我是加了的：
docker run --privileged -d \
--name mgr1  \

GreatSQL Docker镜像的确不支持在Docker中使用VIP功能。原因如下：
1. 在Docker中，无法用systemd方式来启动GreatSQL。
2. 在打包时，也没有将mysqld程序文件属主改为root，并加上setcap属性。

如果想要在Docker中使用GreatSQL VIP特性，可以采用以下方式实现：
1. 创建一个全新centos容器，并加上 --privileged 参数。
2. 自行安装GreatSQL软件包（二进制包或RPM包都行），利用setcap给mysqld程序文件加上提权属性。
3. 修改 mysqld 程序文件属主为 root。
4. 正确配置相关参数。

参考过程如下所示

1. # 创建容器
   
2. docker run -itd --privileged --hostname t1 --name t1 registry.cn-beijing.aliyuncs.com/greatsql/centos bash
   
3. 
   
4. # 在容器中查看初始ip
   
5. [root@t1 GreatSQL]# ip a
   
6. 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
   
7.     link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
   
8.     inet 127.0.0.1/8 scope host lo
   
9.        valid_lft forever preferred_lft forever
   
10. 233: eth0@if234: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default
    
11.     link/ether 02:42:ac:11:00:04 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    
12.     inet 172.17.0.4/16 brd 172.17.255.255 scope global eth0
    
13.        valid_lft forever preferred_lft forever
    
14. 
    
15. # 修改my.cnf
    
16. user = root
    
17. loose-plugin_load_add = 'greatdb_ha.so'
    
18. loose-greatdb_ha_enable_mgr_vip = ON
    
19. loose-greatdb_ha_mgr_vip_nic = 'eth0'
    
20. loose-greatdb_ha_mgr_vip_ip = '172.17.0.40'
    
21. loose-greatdb_ha_mgr_vip_mask = '255.255.0.0'
    
22. loose-greatdb_ha_port = 33062
    
23. #loose-greatdb_ha_mgr_read_vip_ips = "172.17.0.41,172.17.0.42"
    
24. loose-greatdb_ha_mgr_read_vip_floating_type = "TO_ANOTHER_SECONDARY"
    
25. loose-greatdb_ha_send_arp_packge_times = 5
    
26. loose-greatdb_ha_mgr_exit_primary_kill_connection_mode = OFF
    
27. report_host = 172.17.0.4
    
28. report_port = 3306
    
29. 
    
30. # setcap提权及修改文件属主
    
31. chown root:root /usr/sbin/mysqld
    
32. setcap CAP_NET_ADMIN,CAP_NET_RAW+ep /usr/sbin/mysqld
    
33. 
    
34. [root@t1 GreatSQL]# getcap /usr/sbin/mysqld
    
35. /usr/sbin/mysqld = cap_net_admin,cap_net_raw+ep
    
36. [root@t1 GreatSQL]# ls -la /usr/sbin/mysqld
    
37. -rwxr-xr-x 1 root root 67858088 Jul 30 08:18 /usr/sbin/mysqld
    
38. 
    
39. # 启动，务必确认以root身份启动
    
40. /usr/sbin/mysqld &
    
41. 
    
42. [root@t1 GreatSQL]# ps -ef | grep mysqld
    
43. root        1518      15 15 07:02 pts/1    00:00:00 /usr/sbin/mysqld
    
44. 
    
45. # 再次查看ip
    
46. [root@t1 GreatSQL]# ip a
    
47. 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    
48.     link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    
49.     inet 127.0.0.1/8 scope host lo
    
50.        valid_lft forever preferred_lft forever
    
51. 233: eth0@if234: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default
    
52.     link/ether 02:42:ac:11:00:04 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    
53.     inet 172.17.0.4/16 brd 172.17.255.255 scope global eth0
    
54.        valid_lft forever preferred_lft forever
    
55.     inet 172.17.0.40/16 brd 172.17.255.255 scope global secondary eth0:0
    
56.        valid_lft forever preferred_lft forever      

复制代码

可以看到，已经能正确绑定VIP了。

以上操作基于 GreatSQL 8.0.32-26 版本。

yejr 发表于 2024-8-13 15:03
GreatSQL Docker镜像的确不支持在Docker中使用VIP功能。原因如下：
1. 在Docker中，无法用systemd方式来启 ...

GreatSQL 文档中也已更新 https://greatsql.cn/docs/8.0.32-26/5-enhance/5-2-ha-mgr-vip.html