innodb 数据库中的脏页数据是怎么产生的
发布网友
发布时间：2022-04-29 04:59
共2个回答
热心网友
时间：2022-04-08 02:30
发现每秒刷脏页的量和 SQL 被 kill 的量的曲线有点相近，看着刷脏页的量挺大的，但是每秒 delete 的 TPS 又不是很高，为啥这么低的 TPS 会让刷脏页频率抖动以及 SQL 执行变慢呢？曾经换过不同批次的机器，发现问题依旧，并没有改善，说明并不是机器本身的问题。继续浏览 buffer pool 相关的监控指标，像是发现新*一样的发现了一个异常指标脏页比例达到了快 90% ！！！太吓人了！！！为啥脏页比例会达到 90% 呢，无非就是刷脏页的速度跟不上产生的速度，要么就是 IO 能力不行，要么就是产生脏页的速度过快，要么就是内存池太小，导致 Buffer Pool 被脏页占满。那么这个脏页比例达到快 90% 会有什么问题呢？
innodb_max_dirty_pages_pct_lwm 表示的是当脏页比例达到该参数表示的低水位时候，刷脏线程就开始预刷脏来控制脏页比例，避免达到innodb_max_dirty_pages_pct 。刷脏页的最大 IO 能力是受 innodb_io_capacity 和 innodb_io_capacity_max 控制。生产上我们将 innodb_max_dirty_pages_pct_lwm 设置成了50当脏页比例大于 innodb_max_dirty_pages_pct 时候，InnoDB 会进行非常激烈的刷脏页操作，但是由于 DELETE 操作还是在进行，脏页产生的速度还是非常快，刷脏页的速度还是跟不上脏页产生的速度。为了避免脏页比例进一步扩大，更新将会被堵塞，从而导致 DELETE 执行变慢，直至被 KILL。发现问题之后，根据我们之前的假设，有三种解决方案：1. 调大 io_capacity ，但是由于主机是多实例部署，IO 占用已经比较高，PASS。2. 降低脏页产生速度，也就是调低 DELETE 速度，因为数据产生的速度很快，为了避免删除跟不上插入的速度，也被 PASS。3. 调大 Buffer Pool，可以容纳更多的脏页。说干就干，得益于 MySQL 5.7 的在线调整 Buffer Pool，立马将 Buffer Pool Size 扩了一倍，效果非常显著。
脏页比例立马下降，被 kill 的 SQL 也下降了。平均 SQL rt 下降很多。
总结
得益于 MySQL 的开源，很多错误都可以直接确认到对应的代码，大致定位到问题发生的地方，给问题排查带来了很多方便。同时对 MySQL buffer pool 的命中率以及脏页比例也要多多关注，对 SQL 的性能都有很大的影响。
热心网友
时间：2022-04-08 03:48
运行环境：RHEL4U5 + mysql5.0
默认情况下mysql自动安装InnoDB数据引擎，InnoDB的数据库文件和日志文件在默认的数据库数据库目录（/var/lib/mysql 或者/usr/local/mysql/var），现在由于我们要重新建立InnoDB数据库，所以将原来的InnoDB数据库备份好后，删除即可，建立InnoDB数据库的操作步骤：
默认的数据库数据目录：/var/lib/mysql
1） shell> service mysqld stop # 停止mysql进程
2） shell> mv /var/lib/mysql/ib* /var/lib/mysql/InnoDB-old # 备份好原来的InnoDB的数据库文件
3) shell> mkdir /var/lib/mysql/InnoDB #建立存放新InnoDB数据库文件的目录，默认不自动创建目录
4） shell> vi /etc/my.cnf #编辑InnoDB数据库的相关的配置选项
[mysqld]
# Uncomment the following if you are using InnoDB tables
innodb_data_home_dir = /var/lib/mysql/InnoDB/ #innodb数据库数据文件目录
innodb_data_file_path = ibdata2:100M:autoextend:max:2000M #数据文件名称及大小
innodb_log_group_home_dir = /var/lib/mysql/InnoDB/
innodb_log_arch_dir = /var/lib/mysql/InnoDB/
# You can set .._buffer_pool_size up to 50 - 80 %
# of RAM but beware of setting memory usage too high
innodb_buffer_pool_size = 16M #缓冲池的大小，一般设置为主存的50%-80%
innodb_additional_mem_pool_size = 2M
# Set .._log_file_size to 25 % of buffer pool size
innodb_log_file_size = 5M #日志文件的大小,一般设置为主存的25%
innodb_log_buffer_size = 8M
innodb_flush_log_at_trx_commit = 1 #事务
innodb_lock_wait_timeout = 50
5) shell> chown mysql:mysql /var/lib/mysql/InnoDB/ #设置InnoDB数据库目录的权限，否则无法启动mysql
6) shell> service mysqld start # 启动mysqld进程
这时在/var/lib/mysql/InnoDB 目录中应该可以看到新生成的InnoDB文件，那么InnoDB数据库就生成了。
2. 使用InnoDB数据库：
1）在配置文件中的[mysqld]字段添加 default-storage-engine=INNODB ，将默认的数据库引擎修改为InnoDB
2} 在创建表的时候，手动指定表的类型：
CREATE TABLE mytable (id int, title char(20)) ENGINE = INNODB
注意：修改mysql配置文件需要重启启动mysqld进程
