一条更新操作引起的MySQL主从复制异常

《一条更新操作引起的MysqL主从复制异常》要点：
本文介绍了一条更新操作引起的MysqL主从复制异常，希望对您有用。如果有疑问，可以联系我们。

一、环境描述

生产环境异地机房主从数据库,数据量过百G,数据库版本社区版本5.6.25.

二、问题描述

同事根据开发提供的sql在Master节点执行了一个大表的的全表更新操作,导致从节点Slave IO线程中断.

三、问题分析

1)相关参数

my.cnf中有两个参数设置：

expire_logs_days = 7        #binlog保留时间7天
max_binlog_size = 1G      #binlog大小

2)表大小,执行sql

Table: v_clda   5.8G
sql: update v_clda set uploadtime ＝Now(); 主库执行成功

3)主库,大事物产生的binlog

-rw-rw—- 1 MysqL MysqL 1.1G Mar 16 02:49 MysqL-bin.000159
-rw-rw—- 1 MysqL MysqL 8.0G Mar 16 15:28 MysqL-bin.000160
-rw-rw—- 1 MysqL MysqL 7.4G Mar 16 18:13 MysqL-bin.000161
-rw-rw—- 1 MysqL MysqL 1.1G Mar 16 23:55 MysqL-bin.000162
-rw-rw—- 1 MysqL MysqL 1.1G Mar 17 12:15 MysqL-bin.000163
-rw-rw—- 1 MysqL MysqL 1.1G Mar 18 16:54 MysqL-bin.000164

4)异地从库报错

[ERROR] Slave I/O: Unexpected master’s heartbeat data: heartbeat is not compatible with local info;the event’s data:og_file_name MysqL-bin.000160<90>Ó°Y log_pos 121238917,Error_code: 1623
[ERROR] Slave I/O: Relay log write failure: Could not queue event from master,Error_code: 1595
[Note] Slave I/O thread exiting,read up to log ‘MysqL-bin.000160’,position 3626103968
[Note] Error reading relay log event: slave sql thread was killed

Slave 已经无法同步数据.

一个事物只能写入一个binlog日志中,默认情况下,binlog日志达到设定值后(max_binlog_size),会自动生成一个新的日志文件,也会根据过期参数(expire_logs_days)设置自动删除binlog日志.如果生成了一个超大的binlog日志,很可能是由于大事物引起的.

尝试从启slave线程,多次尝试后失败.

尝试跳过事物,具体方法如下：

从节点执行(基于GTID)

stop slave;
SET @@SESSION.GTID_NEXT= ‘498815d6-20a9-11e6-a7d6-fa163e5770cc:53’; –根据实际情况
BEGIN; COMMIT;
SET SESSION GTID_NEXT = AUTOMATIC;
START SLAVE;
show slave status\G; 主从复制恢复正常

从节点执行更新操作,同步数据

set session sql_log_bin=0;
update v_clda set uploadtime ＝Now();

在执行大事物前关闭 set session sql_log_bin=0; (默认是开启的),尤其是异地机房,网络带宽有限,而且VPN通道不是十分稳定的情况下.不允许它生成大量binlog日志.

如果像本例中,已经执行了,而且生成了大量的binlog,最终导致复制异常,可以考虑使用跳过事物的方法来解决这个问题.

最笨的方法就是重新搭建主从,由于数据量比较大,还是异地不可取.

根本解决方法还是要拆分大事物,进行批量提交操作.贺春旸老师的MysqL管理之道一书中第四章4.4节有具体的解决方法.

参考改为用存储过程,每删除10000条事务就提交一次,循环操作直至删除完毕.经过优化,行锁的范围变小了,性能也就变好了.相关代码如下：

DELIMITER   $$
USE   BIGDB$$
DROP   PROCEDURE IF EXISTS BIG_table_delete_10k$$
CREATE   PROCEDURE BIG_table_delete_10k(IN v_UserId INT)
BEGIN
del_10k:LOOP
delete   from BIGDB.BIGTABLE where UserId = v_UserId limit 10000;
select   row_count() into @count;
IF   @count = 0 THEN
select CONCAT(‘BIGDB.BIGTABLE UserId =   ‘,v_UserId,’ is ‘,@count,’ rows.’) as BIGTABLE_delete_finish;
LEAVE   del_10k;
END IF;
select   sleep(1);
END LOOP   del_10k;
END$$
DELIMITER   ;

作者：康壮 | 文章来源微信公众号：DBAplus社群