redis主从复制同步数据死循环问题

网站建设公司,为您提供网站建设,网站制作,网页设计及定制网站建设服务,专注于成都企业网站建设,高端网页制作,对成都生料搅拌车等多个行业拥有丰富的网站建设经验的网站建设公司。专业网站设计,网站优化推广哪家好,专业网站推广优化,H5建站,响应式网站。

发现现象：

最近有问必答codis一个从库端口6504一直时不时，主从延时和从库连接不上的报警，开始怀疑是redis备份导致，没有深入去找原因，后面发现白天也在报警，故深入排查了一下原因。

host: 10.20.1.4

port: 6504

idc: KDDI

role: redis_s

item: r_replication

current: 32767

last: 1 minutes.

info:

send at [2015-11-27 09:17:49]

------------------------------------------

host: 10.20.1.4

port: 6504

idc: KDDI

role: redis_s

item: r_connection

current: 0

last: 1 minutes.

info: failed

send at [2015-11-27 08:13:46]

问题现象：

1、登录到从库所在服务器，奇怪的发现了，从库周期性的在产生temp-rewriteaof-xxx.aof文件,见下图

2、从库的日志里面出现大量“Connection with master lost”日志，从句面意思来理解是说主库连接丢失，见下图

3、登录到主库,查看日志发现了"Connection with slave 10.20.1.4:6504 lost"和“scheduled to be closed ASAP for overcoming of output buffer limits.”两条重要信息

4、登录到主库使用info命令发现“slave0:ip=10.20.1.4,port=6504,state=send_bulk,offset=0,lag=0”

问题分析：

1、通过从库周期性的生成aof文件以及日志里面看到周期性的连接主库lost现象，初步怀疑是复制层面的问题，并查看其他几个从库的日志没有发现这种情况，先排除网络问题

2、在主库也发现了连接从库lost现象，确定是6504端口redis内部的问题，并且看到“overcoming of output buffer limits”，提示buffer限制了

3、以上信息基本上可以确认问题的原因，先回想一下redis主从复制原理：当在从库执行slaveof ip port命令之后，主库会使用bgsave生成一个rdb快照文件，生成文件之后通过网络将这个文件传到从库，同时主库上会将生成rdb快照那一刻起的新数据写的一个buffer缓冲区，另一方面，从库接受主库刚刚生成那个rdb文件之后，开始加载这个rdb文件，加载需要一定时间，如果这个时间越长，其主库的写入量越大，那么刚刚主库产生的buffer也会越大（当然不能无限大），在主库client-output-buffer-limit参数 slave 268435456 67108864 60设置了其大小，意思说如果buffer大小超过256Mb或者连续60秒钟产生的buffer大小大于64Mb，则buffer会强制关闭

解决办法：

1、调整主库client-output-buffer-limit默认参数，CONFIG SET client-output-buffer-limit "slave 1073741824 268435456 300"，将其限制设置为1G,连续300秒超过256Mb才强制关闭，问题解决。

在主库的日志里面看到现象如下：

在从库的日志里面看到现象如下：

另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

分享名称：redis主从复制同步数据死循环问题-创新互联
文章转载：http://kswjz.com/article/eiihp.html