fsync mysql_使用O_DIRECT_NO_FSYNC来提升MySQL性能

fsync mysql_使用O_DIRECT_NO_FSYNC来提升MySQL性能这篇文章很短,但很有价值~MySQL下InnoDB存储引擎有个innodb_flush_method只读参数,用户设置InnoDB的数据和redo日志文件flush行为。definesthemethodusedtoflushdatatoInnoDBdatafilesandlogfiles,whichcanaffectI/Othroughput.这是一个对性能和数据可…

大家好,又见面了,我是你们的朋友全栈君。

这篇文章很短,但很有价值~

MySQL下InnoDB存储引擎有个innodb_flush_method只读参数,用户设置InnoDB的数据和redo日志文件flush行为。defines the method used to flush data toInnoDBdata files and log files, which can affect I/O throughput.

这是一个对性能和数据可靠性有较大影响的参数,在此拿出之前测试的一张性能对比图:

可以看到,该参数从fsync到O_DIRECT再到O_DIRECT_NO_FSYNC,性能分别有明显的提升。一般在Linux下,我们会将该参数设置为O_DIRECT,即数据文件IO走direct_io模式,redo日志文件走系统缓存(linux page cache)模式,在IO完成后均使用fsync()进行持久化。不过redo日志是否调用fsync()还依赖innodb_flush_log_at_trx_commit参数。O_DIRECTor4:InnoDBusesO_DIRECT(ordirectio()on Solaris) to open the data files, and usesfsync()to flush both the data and log files.

而O_DIRECT_NO_FSYNC选项的意思是,使用O_DIRECT完成IO后,不调用fsync()刷盘。

这里简单说下,为什么采用direct_io模式绕过page cache直接写磁盘文件,还需要调用fsync()刷盘,原因就是还存在文件系统元数据缓存,包括vfs中的inode cache和dentry cache等,以及具体文件系统元数据,如对于ext4还包括inode block bitmap,data block bitmap等。

比如往一个新文件写入数据,除了将数据写入指定的文件系统数据block中,还需要确保文件系统的磁盘元数据上有对应的文件名和文件路径,而且还需要将对应的数据block标记为已使用状态,需要将保存文件id(其实是inode)的inode block也标记为已使用状态。

但并不是每次IO操作都会导致文件系统元数据的更新,比如单纯修改一条记录的值,可能就不会。因此,某些IO操作需要采用O_DIRECT模式,另一些IO操作可以采用O_DIRECT_NO_FSYNC模式。如果能够区分这些不同的IO操作类型,那么就可以提升IO性能。

这就是本文要说的内容。先看下面一段话:O_DIRECT_NO_FSYNC: InnoDB uses O_DIRECT during flushing I/O, but skips the fsync() system call after each write operation.

Prior to MySQL 8.0.14, this setting is not suitable for file systems such as XFS and EXT4, which require an fsync() system call to synchronize file system metadata changes. If you are not sure whether your file system requires an fsync() system call to synchronize file system metadata changes, use O_DIRECT instead.

As of MySQL 8.0.14, fsync() is called after creating a new file, after increasing file size, and after closing a file, to ensure that file system metadata changes are synchronized. The fsync() system call is still skipped after each write operation.

从MySQL 8.0.14开始,社区版本就已经为我们做了这样的事情。因此,现在O_DIRECT_NO_FSYNC是可以取代O_DIRECT的。而MySQL也已经这么做了,虽然没有直接修改该参数默认值(fsync),但在专用的MySQL服务器上,推荐值已经变了。详见innodb-dedicated-server,简单例举如下:O_DIRECT_NO_FSYNC when O_DIRECT_NO_FSYNC setting is not available, the default

现在已经是MySQL 8.0.19了,应该说,在该版本上,大家可以放心使用O_DIRECT_NO_FSYNC了,能够有更好的性能(从上面的测试结果看,性能至少提升了20%+),干嘛不用呢。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/138357.html原文链接:https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • jvm垃圾回收算法有哪些_java垃圾回收算法几种

    jvm垃圾回收算法有哪些_java垃圾回收算法几种在说垃圾回收算法之前,先谈谈JVM怎样确定哪些对象是“垃圾”。1.引用计数器算法:引用计数器算法是给每个对象设置一个计数器,当有地方引用这个对象的时候,计数器+1,当引用失效的时候,计数器-1,当计数器为0的时候,JVM就认为对象不再被使用,是“垃圾”了。引用计数器实

    2022年10月29日
  • Ubuntu16.04忘记用户登录密码以及管理员密码,重置密码的解决方案[通俗易懂]

    Ubuntu16.04忘记用户登录密码以及管理员密码,重置密码的解决方案[通俗易懂]1.问题现象:由于自己想修改一下当前用户名,结果乱改了部分配置文件导致登陆时,原先的密码失效2.问题原因问题原因,搞不懂,只是修改了/etc/shadow和/etc/sudoers这俩文件3.解决方案在系统开机前常按shift键进入grub界面,如下:选择*ubuntu高级选项按enter键进入如下界面通过up键和down键选中recoverymode…

    2022年9月29日
  • 矩阵求逆的_matlab计算矩阵的逆矩阵

    矩阵求逆的_matlab计算矩阵的逆矩阵首先输入矩阵,例如:octave:1>a=[3,4;2,16]a=  3  4  2 16然后,利用pinv函数求逆octave:2>pinv(a)ans=  0.400000 -0.100000 -0.050000 0.075000octave:3>pinv(a)*aans=  1.00000 -0.00000  0.00000 …

    2022年8月21日
  • 【JavaScript框架封装】实现一个类似于JQuery的属性框架的封装

    【JavaScript框架封装】实现一个类似于JQuery的属性框架的封装

    2021年6月9日
  • 常量指针,指针常量的区别是什么_指针常量与常量指针

    常量指针,指针常量的区别是什么_指针常量与常量指针**要有具备扎实指针知识……了解引用、指针的一些注意事项:引用并非对象引用必须初始化引用只能绑定在对象上,而不能与字面值或某个表达式的计算结果绑定在一起类型要严格匹配一、常量指针定义:又叫常指针,可以理解为常量的指针,也即这个是指针,但指向的是个常量,这个常量是指针的值(地址),而不是地址指向的值。关键点:常量指针指向的对象不能通过这个指针来修改,可是仍然可以通过原来的声明修改;常量指针可以被赋值为变量的地址,之所以叫常量指针,是限制了通过这个指针修改变量的值;指针还可以指向别

    2022年10月7日
  • Tensorflow数据读取之tfrecord

    Tensorflow数据读取之tfrecord文章目录tfrecordtfrecord的使用流程写入tfrecord文件读取tfrecord文件tfrecord中的数据格式tfrecord中对于变长数据和定长数据的处理tfrecord中生成batch_data的方法插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数…

    2022年11月3日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号