数据库自动化运维平台–自助DML

数据库自动化运维平台–自助DML今天介绍下最近开发的一个平台,自助DML。什么是DML,就是平常执行的增删改查数据库操作。有人有疑问这不是程序访问的操作,为什么还要做一个平台操作这些呢,其实这种操作主要是开发需要线下修复数据的一种操作,不只是增删改,还有建表,建索引,添加字段等,这些操作开发一般会提给DBA协助操作数据库。可能你会觉得这些活能有多少,其实这种活真不少,我上家公司是电商互联网公司,大概有七八百个实例,每天的这种操作有近百个。处理近百个这种需求,基本上一个人一天就不用干别的了。虽说现在的公司实例少点,但每天的工作量还是很大,关

大家好,又见面了,我是你们的朋友全栈君。

其实很多公司的DBA都是苦逼的,差不多一个DBA要对应几十个甚至上百个开发。半夜爬起来处理故障,上百G的数据动不动搞个迁移,升级等 这些都是很常见的,怪不得很多DBA自嘲”我是搬砖的”。为了使DBA的工作轻松,有效率很多年前各大公司就开始自动化运维平台建设,在这方面我们属于比较晚的了。

今天介绍下最近开发的一个平台,自助DML。什么是DML,就是平常执行的增删改查数据库操作。有人有疑问这不是程序访问的操作,为什么还要做一个平台操作这些呢,其实这种操作主要是开发需要线下修复数据的一种操作,不只是增删改,还有建表,建索引,添加字段等,这些操作开发一般会提给DBA协助操作数据库。可能你会觉得这些活能有多少,其实这种活真不少,我上家公司是电商互联网公司,大概有七八百个实例,每天的这种操作有近百个。处理近百个这种需求,基本上一个人一天就不用干别的了。虽说现在的公司实例少点,但每天的工作量还是很大,关键这种工比较重复,枯燥,没有技术含量,所以迫切需要一个自助的服务平台开放出去来提高工作效率,解放DBA。

接下来先上流程图:

数据库自动化运维平台--自助DML

所涉及的技术点,如下:
(1)开发语言: Python
(2)框架: Flask
(3)bootstrap,html,js,css,jQuery
(4)后端存储MySQL
(5)celery rabbitmq


平台部分截图:

1) 提交任务需要满足两个条件:(1) 元数据平台(请参考之前的元数据平台博客)集群归属部门信息不能为空    (2)提交任务的人所在部门要跟集群归属部门一致

数据库自动化运维平台--自助DML



2) 根据流程检查权限后,就会对提交的sql进行基本语法检查。为了控制对线上的影响,操作的数据量影响超过10000(可以设置)行不能提交任务。这里提交有两个按钮,其中定时是用celery实现的。

数据库自动化运维平台--自助DML



行数超过设置

数据库自动化运维平台--自助DML

没有加where条件

数据库自动化运维平台--自助DML


3) 提交后就会生成一条任务,每个任务id是唯一的 可以点击进入查看详细信息。

数据库自动化运维平台--自助DML



 4) 点击sql文本查看,就可以看到提交的sql语句

数据库自动化运维平台--自助DML



5)点击上个截图上的id号就进入此页面,这个页面可以查看,审核,备注信息等。

其主要功能是审核,审核需要满足几个条件 :  1)操作的集群要有归属业务部门  2)操作库要有归属项目名称和归属人  3)不能自己审核自己提交的任务 4)如果任务提交人跟库归属人不同则需要库归属人审核 5)如果是库归属人提交的任务则需要同部门的另一人审核        (这些条件需要结合元数据平台,请参考之前的博客)

数据库自动化运维平台--自助DML



6)审核完事就可以点击执行了,执行权限只有DBA和提交人才能执行

数据库自动化运维平台--自助DML


7) 未审核, 没有权限等等都是没有办法执行

数据库自动化运维平台--自助DML



8) 执行后查看执行结果,备份会生产反向sql,例如insert 会生产delete操作备份

数据库自动化运维平台--自助DML



9) 已经处理过的可以删除并归档到历史任务里,方便以后查阅。

数据库自动化运维平台--自助DML


10) 这个页面是DBA后台操作页面, 目前只有DML,其他平台正在开发中。

数据库自动化运维平台--自助DML


总结:

此系统目前已经开放给RD使用,目前日处理需求量50+,对工作效率,安全性,RD体验等方面有了显著的提升。


版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/145323.html原文链接:https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长

相关推荐

  • VMware的卸载[通俗易懂]

    VMware的卸载[通俗易懂]想重新安装VMware,因此记录一下自己卸载的过程1、关闭相关服务windows+R 输入services.msc将vm开头服务关闭(我这里直接禁用,红框中状态无就行)2、检查是否删完windows+R 输入regedit 依次点开这些目录,主要找software目录和system目录下的vm开头的文件夹(打开看一下有没有VMware文件,不要删错),然后删掉这个vm开头的文件3、卸载windows+R 输入appwiz.cpl 找…

    2022年10月21日
  • CString——Left、Right、Find、ReverseFind

    CString——Left、Right、Find、ReverseFind

    2021年12月7日
  • 必知必会 RabbitMQ面试题 33道(附答案)「建议收藏」

    必知必会 RabbitMQ面试题 33道(附答案)「建议收藏」点击关注公众号,回复000获取优质资料前言大家好,我是老田。今天我们来分享RabbitMQ消息队列。其中,MQ(MessageQueue)翻译过来就是消息队列的意思。RabbitMQ…

    2022年6月15日
  • kafka的使用场景举例_kafka一般用来做什么

    kafka的使用场景举例_kafka一般用来做什么关于消息队列的使用一、消息队列概述消息队列中间件是分布式系统中重要的组件,主要解决应用解耦,异步消息,流量削锋等问题,实现高性能,高可用,可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ二、消息队列应用场景以下介绍消息队列在实际应用中常用的使用场景。异步处理,应用解耦,流量削锋和消息通讯四个场景。2.1异步…

    2022年10月15日
  • idea 2021.2 Mac版激活码破解方法

    idea 2021.2 Mac版激活码破解方法,https://javaforall.net/100143.html。详细ieda激活码不妨到全栈程序员必看教程网一起来了解一下吧!

    2022年3月15日
  • springboot上传文件显示上传进度[通俗易懂]

    springboot上传文件显示上传进度[通俗易懂]springboot上传文件显示上传进度创建maven依赖 <dependency><groupId>commons-fileupload</groupId><artifactId>commons-fileupload</artifactId><version>1.2.2</version></dependency

    2022年6月3日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号