问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501

怎么避免mysql从库同步 怎么保证数据一致性

发布网友 发布时间:2022-04-20 10:47

我来回答

2个回答

热心网友 时间:2022-04-08 00:05

用 pt-table-checksum 时,会不会影响业务性能?

实验


实验开始前,给大家分享一个小经验:任何性能评估,不要相信别人的评测结果,要在自己的环境上测试,并(大概)知晓原理。

我们先建一对主从:

然后用 mysqlslap跑一个持续的压力:

开另外一个会话,将 master 上的 general log 打开:

然后通过 pt-table-checksum 进行一次比较:

查看 master 的 general log,由于 mysqlslap 的影响,general log 中有很多内容,我们找到与 pt-table-checksum 相关的线程:

将该线程的操作单独列出来:

操作比较多,我们一点一点来说明:

这里工具调小了 innodb 锁等待时间。使得之后的操作,只要在 innodb 上稍微有锁等待,就会马上放弃操作,对业务影响很小。

另外工具调小了 wait_timeout 时间,倒是没有特别的作用。


工具将隔离级别调整为了 RR 级别,事务的维护代价会比 RC 要高,不过后面我们会看到工具使用的每个事务都很小,加上之前提到 innodb 锁等待时间调到很小,对线上业务产生的成本比较小。

RR 级别是数据对比的基本要求。

工具通过一系列操作,了解表的概况。工具是一个数据块一个数据块进行校验,这里获取了第一个数据块的下边界。

接下来工具获取了下一个数据块的下边界,每个 SQL前都会 EXPLAIN 一下,看一下执行成本,非常小心翼翼。

之后工具获取了一个数据块的 checksum,这个数据块不大,如果跟业务流量有冲突,会马上出发 innodb 的锁超时,立刻退让。

以上是 pt-table-checksum 的一些设计,可以看到这几处都是精心维护了业务流量不受影响。

工具还设计了其他的一些机制保障业务流量,比如参数 --max-load 和 --pause-file 等,还有精心设计的数据块划分方法,索引选择方法等。大家根据自己的情况配合使用即可达到很好的效果。


总结

本期我们介绍了简单分析 pt-table-checksum 是否会影响业务流量,坊间会流传工具的各种参数建议或者不建议使用,算命的情况比较多,大家都可以用简单的实验来分析其中机制。

还是那个观点,性能测试不能相信道听途说,得通过实验去分析。

热心网友 时间:2022-04-08 01:23

我们常常把MySQL replication说成是MySQL同步(sync),但事实上这个过程是异步(async)的。大概过程是这样的:
在master上提交事务后,并且写入binlog,返回事务成功标记;
将binlog发送到slave,转储成relay log;
在slave上再将relay log读取出来应用。
步骤1和步骤3之间是异步进行的,无需等待确认各自的状态,所以说MySQL replication是异步的。
MySQL semi-sync replication在之前的基础上做了加强完善,整个流程变成了下面这样:
首先,master和至少一个slave都要启用semi-sync replication模式;
声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com
ef英语哪个好 EF英孚英语培训怎么样? 英孚英语好不好 EF英孚教育到底好不好 大佬们,麦芒7和荣耀10那个值得入手?2500以下的机子还有啥好推荐的么... 介绍几款2500元以前的手机 像素一定要高 其他的不做要求 近期想入手一部安卓手机,价格2200到2500左右…买HTC desire Z还是 三星... 笔记本忘记开机密码怎么办急死了 笔记本电脑屏幕开机锁忘记密码 怎么办?急死了 华硕笔记本电脑开机密码忘记了怎样找回?系统是Windows 7旗舰版... mysql主从同步 如何同步已有的数据, 拉杆箱什么品牌好质量好 mysql 主从同步 只同步数据吗 mysql的主从复制会同步mysql数据库吗 mysql如何实现两个数据库数据结构实时同步? 配置mysql主从 数据库怎么同步过来 如何配置两个MySQL数据库之间的主从同步功能? 如何实现两个mysql数据库之间的主从同步? 船长需要什么证 考船员证都需要什么条件? 船长适任证书怎么考 考船员证都需要什么条件? 海员到哪种程序才能考船长呢 船员证怎么考? 从实习三副做到船长顺利的话要用几年? 船员证好考吗,需要什么条件? 远洋船长需要具备什么条件? 三类大副,船长证怎么办理,学费多少? 大学生助学贷款毕业后的利息是咋收的 在大连如何考取港作拖轮船长证,从第一步开始到最... 拉杆箱有什么推荐? mysql主主同步,从库不同步应该怎么解决 拉杆箱什么牌子质量好 求讲一下mysql的主从同步,和互为主从 什么牌子的行李箱结实耐用性价比高 mysql数据库的主从同步是数据同步还是结构同步? 行李箱哪个牌子的性价比高? mysql主从是基于什么机制 质量好的拉杆箱推荐 如何对MySQL数据库中的数据进行实时同步 拉杆箱什么牌子好?拉杆箱什么材质好? 如何配置两个MySQL数据库之间的主从同步功能 拉杆箱品牌排名前十是哪些? mysql主从复制原理,异步怎么回事?半同步怎么回事 mysql主从同步时什么意思? mysql怎么实现主从同步数据库备份? 儿童拉杆箱什么牌子好 求助一个mysql5.7双主同步问题? 拉杆箱大品牌有哪些? mysql主从同步是为了解决什么问题