MySQL binlog(二进制日志)解析「建议收藏」

MySQL binlog(二进制日志)解析

大家好,又见面了,我是全栈君。

binlog 顾名思义就是一种二进制日志,是一种与innodb引擎中redo/undo log完全不同的日志。它主要是用来记录对mysql数据更新或潜在发生更新的SQL语句,并以”事务”的形式保存在磁盘中。

binlog 主要作用

  • 复制:MySQL Replication在Master端开启binlog,Master把它的二进制日志传递给slaves并回放来达到master-slave数据一致的目的
  • 数据恢复:通过mysqlbinlog工具恢复数据
  • 增量备份

binlog管理

开启binlogmy.cnf配置中设置:log_bin=”存放binlog路径目录”。binlog信息查询binlog开启后,可以在配置文件中查看其位置信息,也可以在myslq命令行中查看:

1

2

3

4

5

6

7

8

9

10

11

show variables like '%log_bin%';

+---------------------------------+-------------------------------------+

| Variable_name                   | Value                               |

+---------------------------------+-------------------------------------+

| log_bin                         | ON                                  |

| log_bin_basename                | /var/lib/mysql/3306/mysql-bin       |

| log_bin_index                   | /var/lib/mysql/3306/mysql-bin.index |

| log_bin_trust_function_creators | OFF                                 |

| log_bin_use_v1_row_events       | OFF                                 |

| sql_log_bin                     | ON                                  |

+---------------------------------+-------------------------------------+

binlog文件开启binlog后,会在数据目录(默认)生产host-bin.n(具体binlog信息)文件及host-bin.index索引文件(记录binlog文件列表)。当binlog日志写满(binlog大小max_binlog_size,默认1G),或者数据库重启才会生产新文件,但是也可通过手工进行切换让其重新生成新的文件(flush logs);另外,如果正使用大的事务,由于一个事务不能横跨两个文件,因此也可能在binlog文件未满的情况下刷新文件。

查看binlog文件列表的SQL语句如下:

1

2

3

4

5

6

7

8

9

10

11

12

mysql> show binary logs;

+------------------+-----------+

| Log_name         | File_size |

+------------------+-----------+

| mysql-bin.000001 |       177 |

| mysql-bin.000002 |       177 |

| mysql-bin.000003 |  10343266 |

| mysql-bin.000004 |  10485660 |

| mysql-bin.000005 |     53177 |

| mysql-bin.000006 |      2177 |

| mysql-bin.000007 |      1383 |

+------------------+-----------+

show master status语句可以显示binlog的状态,包含当前二进制日志文件的状态,正在写入的二进制文件,及当前position等信息。

1

2

3

4

5

6

mysql> show master status;

+------------------+----------+--------------+------------------+-------------------+

| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |

+------------------+----------+--------------+------------------+-------------------+

| mysql-bin.000007 |      120 |              |                  |                   |

+------------------+----------+--------------+------------------+-------------------+

reset master语句用于清空binlog日志文件。

binlog 内容

默认情况下binlog日志是二进制格式,无法直接查看。可使用两种方式进行查看,下面我分别列举一下!

第一种是使用mysqlbinlog工具,用法:mysqlbinlog: /usr/bin/mysqlbinlog  mysql-bin.000007。

mysqlbinlog是mysql官方提供的一个binlog查看工具,也可使用–read-from-remote-server从远程服务器读取二进制日志,还可使用–start-position –stop-position、–start-time= –stop-time精确解析binlog日志。

第二种是直接使用命令行解析。语法如下:

1

2

3

4

SHOW BINLOG EVENTS

    [IN 'log_name'] //要查询的binlog文件名

    [FROM pos] 

    [LIMIT [offset,] row_count]

下面看一个例子:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

mysql> show binlog events in 'mysql-bin.000007' from 1190 limit 2\G

*************************** 13. row ***************************

   Log_name: mysql-bin.000007

        Pos: 1190

 Event_type: Query  //事件类型

  Server_id: 123

End_log_pos: 1352   //结束pose点,下个事件的起点

       Info: use `test`; insert into tb_person  set name="name__2", address="beijing", sex="man", other="nothing"

*************************** 14. row ***************************

   Log_name: mysql-bin.000007

        Pos: 1352

 Event_type: Xid

  Server_id: 123

End_log_pos: 1383

       Info: COMMIT /* xid=51 */

binlog 格式

Mysql binlog日志有ROW,Statement,MiXED三种格式;可通过my.cnf配置文件及 ==set global binlog_format=’ROW/STATEMENT/MIXED’== 进行修改,命令行 ==show variables like ‘binlog_format’== 命令查看binglog格式。

  • Row level: 仅保存记录被修改细节,不记录sql语句上下文相关信息优点:能非常清晰的记录下每行数据的修改细节,不需要记录上下文相关信息,因此不会发生某些特定情况下的procedure、function、及trigger的调用触发无法被正确复制的问题,任何情况都可以被复制,且能加快从库重放日志的效率,保证从库数据的一致性 缺点:由于所有的执行的语句在日志中都将以每行记录的修改细节来记录,因此,可能会产生大量的日志内容,干扰内容也较多;比如一条update语句,如修改多条记录,则binlog中每一条修改都会有记录,这样造成binlog日志量会很大,特别是当执行alter table之类的语句的时候,由于表结构修改,每条记录都发生改变,那么该表每一条记录都会记录到日志中,实际等于重建了表。 tip: – row模式生成的sql编码需要解码,不能用常规的办法去生成,需要加上相应的参数(–base64-output=decode-rows -v)才能显示出sql语句; – 新版本binlog默认为ROW level,且5.6新增了一个参数:binlog_row_image;把binlog_row_image设置为minimal以后,binlog记录的就只是影响的列,大大减少了日志内容
  • Statement level: 每一条会修改数据的sql都会记录在binlog中优点:只需要记录执行语句的细节和上下文环境,避免了记录每一行的变化,在一些修改记录较多的情况下相比ROW level能大大减少binlog日志量,节约IO,提高性能;还可以用于实时的还原;同时主从版本可以不一样,从服务器版本可以比主服务器版本高 缺点:为了保证sql语句能在slave上正确执行,必须记录上下文信息,以保证所有语句能在slave得到和在master端执行时候相同的结果;另外,主从复制时,存在部分函数(如sleep)及存储过程在slave上会出现与master结果不一致的情况,而相比Row level记录每一行的变化细节,绝不会发生这种不一致的情况
  • Mixedlevel level: 以上两种level的混合使用经过前面的对比,可以发现ROW level和statement level各有优势,如能根据sql语句取舍可能会有更好地性能和效果;Mixed level便是以上两种leve的结合。不过,新版本的MySQL对row level模式也被做了优化,并不是所有的修改都会以row level来记录,像遇到表结构变更的时候就会以statement模式来记录,如果sql语句确实就是update或者delete等修改数据的语句,那么还是会记录所有行的变更;因此,现在一般使用row level即可。
  • 选取规则如果是采用 INSERT,UPDATE,DELETE 直接操作表的情况,则日志格式根据 binlog_format 的设定而记录 如果是采用 GRANT,REVOKE,SET PASSWORD 等管理语句来做的话,那么无论如何都采用statement模式记录

参考资料

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/112063.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • COM组件原理_Com组件

    COM组件原理_Com组件在COM中,接口就是一个象类,每个接口有一个接口ID(uuid)。一个COM组件通常是连续继承下来的类,比如IUNknow->IDispath->IXX->CXX。这就形成了一个COM组件,当然组件一般是一个钻石继承的样子,这里为了简化原理把他们当成一个串形继承下来。每个COM组件都有一个CLSID(uuid),这个CLSID是注册的时候写进注册表的。这样就可以通过查询注册表中的CLSID

    2025年5月31日
    2
  • Ubuntu20.04安装pycharm_ubuntu怎么安装软件

    Ubuntu20.04安装pycharm_ubuntu怎么安装软件方法一:下载Pycharm与安装下载地址:https://www.jetbrains.com/pycharm/Pycharm专业版和社区版对大多数人来说差别不大,区别如下:我们下载Linux的社区版:右击安装包->Extracthere生成一个Pycharm的文件夹cd到该文件夹的bin下cdDownloads/pycharm-community-2018.1.4/bin(或进文…

    2022年8月29日
    4
  • 中国90后福布斯排行榜前30_2019中国90后十大富豪榜

    中国90后福布斯排行榜前30_2019中国90后十大富豪榜作者|佩奇出品|区块链大本营(blockchain_camp)近日,福布斯发布“Forbes30Under30Asia2019”金融和风险投资类榜单…

    2022年9月30日
    3
  • Kafka教程_图解kafka

    Kafka教程_图解kafkakafka详细教程,Kafka面试题。kafka最初是由Linkedin公司基于Scala和Java语言开发的分布式消息发布-订阅系统,现已捐献给Apache软件基金会。Kafka最被广为人知的是作为一个消息队列系统存在,而事实上kafka已然成为一个流行的分布式流处理平台。其具有高吞吐、低延迟的特性,许多大数据处理系统比如storm、spark、flink等都能很好地与之集成。本文详细介绍了Kafka的实战知识。

    2022年10月16日
    3
  • Jmeter—正则表达式提取器:模板&匹配数字详解「建议收藏」

    Jmeter—正则表达式提取器:模板&匹配数字详解「建议收藏」目录一、相关理论1.正则表达式2.模板3.匹配数字二、例子1.【模板&匹配数字】2.【例-贪婪&非贪婪】3.【例-普通】一、相关理论1.正则表达式():要提取的内容.:匹配任意单个字符串*:匹配(之前的符号)0次或多次+:匹配(+之前的符号)1次或多次?:不要太贪婪,在找到第一个匹配项后停止。.:匹配连续0个/多个字符.+:匹配连续1个/多个字符\:转义,.表示匹配字符.本身2.模板表示取哪几个括号中的值若模板为:000,则为整个表达式匹配到的内容(这里为整个响

    2022年9月10日
    1
  • pac模式与全局模式哪个好_直连模式pac模式全局模式

    pac模式与全局模式哪个好_直连模式pac模式全局模式区别一:使用流量多少不一样。PAC模式:节省流量。全局模式:流量消耗较多。区别二:运行速度快慢不一样。PAC模式:国内网站依旧走本地网络,速度快,绝大部分国外网站都走代理,速度也快。。全局模式:所有网站都走代理,访问国内网站速度变慢。区别三:访问网站覆盖面不一样。PAC模式:少部分国外网站不走代理,无法起到加速效果,甚至无法访问。全局模式:可访问全球所有网站。区别四:运行原理不一样。PAC模式:所有http/socks数据经过…

    2022年10月19日
    3

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号