MySQL数据库备份和恢复方案小结[通俗易懂]

MySQL数据库备份和恢复方案小结[通俗易懂]这两天在调研MySQL数据库的备份和恢复方案,备份对象是对大量Innodb表,或者加上少量的MyISAM表。 InnoDB备份常见问题:文件一致性:数据文件、缓存、日志文件必须保持严格一致。加锁的方法没法保证一致性,因为InnoDB后台刷新数据是异步进行的。数据一致性:不能一次锁住一张表,这个备份的是不同时刻的表数据;如果一次锁住所有表,innodb的mvcc机制会增加undo日志…

大家好,又见面了,我是你们的朋友全栈君。

这两天在调研MySQL数据库的备份和恢复方案,备份对象是对大量Innodb表,或者加上少量的MyISAM表。

 

InnoDB备份常见问题:

文件一致性:数据文件、缓存、日志文件必须保持严格一致。加锁的方法没法保证一致性,因为InnoDB后台刷新数据是异步进行的。

数据一致性:不能一次锁住一张表,这个备份的是不同时刻的表数据;如果一次锁住所有表,innodb的mvcc机制会增加undo日志,同时DDL操作的话也会有风险。

复制:如果支持主备结构,还要缓存主备同步的信息。

所以,要在不停止mysql的情况下对innodb表进行热备份,文件一致性和数据一致性很难保证。

 

 

本人尝试了以下备份和恢复方法:

1. 使用mysqldump工具,类似的有mypump(5.7.11之后有用,多线程导出,能实现数据一致性). 这种方法适合在数据量比较少的情况下使用(个人认为数据量<100G可行),在一台30G的数据库上进行备份,备份出来的数据文件8G(因为没有导出来索引等其他数据库信息,因此文件通常比数据库小的多),使用时间8分钟,恢复时间用了差不多办个小时。顺便说一句,导出时使用order-by-primary参数应该可以提高几倍的导入性能(和mysql的聚集索引有关)

2. Mylvnbackup文件系统快照:要求所有的数据文件都在LVM卷上,由于我的测试系统不满足该条件,没有测试成功。

3.SAN\DRBD\RAID:硬件层次的拷贝,不是真正的备份,在主数据库上误操作删除数据库,没法恢复。

4.MySQL EnterpriseBackup: oracle官方出品,直接基于物理文件备份。收费软件, 每台服务器$5000 ,太贵了,直接放弃。

  这个工具有个很大的优点:支持Windows环境上Mysql数据库备份。我查了很多物理备份工具都没有这个功能。

5.Percona XtraBackup: 该工具功能十分强大,能满足中型和部分大型生产环境。该工具也是基于数据库物理文件进行备份,现执行物理备份,然后使用–prepare选项对拷贝的文件进行一次内部崩溃恢复,以便产生一致性备份。该工具可以进行全量备份和增量,我在一台测试环境上测试,30G的数据库备份之后用了17分钟,cpu占用率也不高,备份后大小是20G,几个小时后基于上次的全量备份做了次增量备份,居然花了13分钟。

该工具全量备份效率应该没有问题。增量备份耗时有点超出意料。后续再测试下。

关于该工具的详细信息:https://www.percona.com/software/mysql-database/percona-xtrabackup

6. Zmanda Recover Manager: 有免费和商业版两种,商业版可以提供网页版的管理工具,并且支持windows环境上的mysql备份

  该工具的原理是先创建快照,再根据快照创建全量备份。增量备份采用的是二进制日志。

  该工具的优点可以使用web端进行管理,定制备份策略,监控备份状态。

  该工具的配置文件可以配置采用逻辑备份还是raw(物理备份),但是我在实际测试中发现3.0版本不能对5.6版本的mysql进行物理备份,不管配置的备份方式是什么,该工具都使用mysqldump进行逻辑备份。难道是程序bug?优点坑。

  有兴趣的朋友可以研究下:http://www.zmanda.com/download-zrm.php

 

 

要实现数据库的安全备份,我的理解是必须要有以下几点:

1. 全量备份(一周或者二周一次)

2.二进制日志:能够实现基于时间点的恢复。 根据业务场景选择适当的时间间隔定时备份二进制日志,如rsync。

3.至少要有一台备机:否则主机出问题后,恢复数据库期间会造成业务中断

4.完备的数据恢复测试:根据恢复后的日志文件、数据文件的大小、关键事件信息验证备份信息是否有效。

 

备份和恢复是个吃力不讨好的活,功能正常没有功劳,出点错误都是惊天动地的大事。

 

 

 

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/134698.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • python语言程序设计教程赵璐主编_一加6第三方ROM推荐

    python语言程序设计教程赵璐主编_一加6第三方ROM推荐从数据处理到人工智能python数据分析方向第三方库有:Numpy,SciPy,PandasPython数据可视化方向的第三方库有:Seaborn,Matplotblib,Mayavi,Bokeh,Gleam,Plotly,visoy,ggplot,geoplotlib,pygal,Arcade,missingno,dataswimPython文本处理方向…

    2022年10月14日
    0
  • 阿里投资,只为安全感

    阿里投资,只为安全感

    2021年8月23日
    55
  • 大数据,云计算和物联网三者的关系是什么_云计算侧重于数据分析

    大数据,云计算和物联网三者的关系是什么_云计算侧重于数据分析1、云计算为大数据提供了技术基础,大数据为云计算提供用武之地2、物联网是大数据的重要来源,大数据技术为物联网数据分析提供支持3、云计算为物联网提供了海量数据存储能力,物联网为云技术提供了广阔的应用空间…

    2022年10月6日
    0
  • 网页w3c标准_让行为成为标准

    网页w3c标准_让行为成为标准转自:http://一杯白开水w.iteye.com/blog/1122618什么是W3C标准    作为网站技术开发人员而言,往往是站在自己的开发角度来实施网站布署(读取数据及开发的方便性等等),而不是站在网站访问者与搜索引擎角度。因此大部分的网站在浏览方面不够直观或是方便,特别是现在w3c的规范,更是在大部分的网站开发人员脑里一片空白。何况百度、google、msn、yahoo

    2022年9月15日
    0
  • virus.win32.parite.H查杀病毒的方法

    virus.win32.parite.H查杀病毒的方法virus.win32.parite.H病毒的查杀方法昨天电脑中了virus.win32.parite.H病毒,搞了2个多小时最终搞定了。以下记录下我的解决方法。第一步:下载Win32.Parite病毒专杀工具下载地址:http://download.csdn.net/detail/wuxiaokaixinguo/6333233第二步…

    2022年7月25日
    7
  • elasticsearch集群搭建对服务器硬件_elasticsearch集群搭建

    elasticsearch集群搭建对服务器硬件_elasticsearch集群搭建一、ElasticSearch集群1.1搭建集群Elasticsearch如果做集群的话Master节点至少三台服务器或者三个Master实例加入相同集群,三个Master节点最多只能故障一台Master节点,如果故障两个Master节点,Elasticsearch将无法组成集群.会报错,Kibana也无法启动,因为Kibana无法获取集群中的节点信息。由于,我们使用只有一台虚拟机,所以我们在虚拟机中安装三个ES实例,搭建伪集群,而ES启动比较耗内存,所以先设置虚拟机的内存3G和CPU个数4个

    2022年10月10日
    0

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号