mysql 提升tps_MYSQL的TPS优化

mysql 提升tps_MYSQL的TPS优化1、摘要系统初期使用的是分布式微服务,但是所有业务模型都在同一个数据库实例上,数据库的压力会非常大,这时需要找出系统执行频率比较高的SQL,进行优化。这里重点描述定位问题的方法,使用的数据也都是测试环境数据。2、统计数据2.1、统计SQL执行次数showGLOBALstatuslike’Com_insert%’;showGLOBALstatuslike’Com_select%’…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

1、摘要

系统初期使用的是分布式微服务,但是所有业务模型都在同一个数据库实例上,数据库的压力会非常大,这时需要找出系统执行频率比较高的SQL,进行优化。这里重点描述定位问题的方法,使用的数据也都是测试环境数据。

2、统计数据

2.1、统计SQL执行次数

show GLOBAL status like ‘Com_insert%’;

show GLOBAL status like ‘Com_select%’;

show GLOBAL status like ‘Com_update%’;

show GLOBAL status like ‘Com_delete%’;

选取至少两个时间段的数据

17:57分

Com_insert1609095

Com_select169588912

Com_update69325636

Com_delete980

17:58分

Com_insert1609124

Com_select169631946

Com_update69344475

Com_delete980

18:02分

Com_insert1609421

Com_select169769311

Com_update69403962

Com_delete980

17:57 到17:58 平均每秒的次数

Com_insert0.5次/秒

Com_select717次/秒

Com_update313次/秒

Com_delete0次/秒

17:58 到18:02 平均每秒的次数

Com_insert1.2次/秒

Com_select572次/秒

Com_update247次/秒

Com_delete0次/秒

计算mysql吞吐量

基于com_%计算tps ,qps

tps= Com_insert/s + Com_update/s + Com_delete/s

qps=Com_select/s + Com_insert/s + Com_update/s + Com_delete/s

根据公式将两次统计结果的值取平均值

Tps=280

Qps=924

2.2、general_log

模拟线上环境,系统没有开启 general_log,否则会影响性能,所以select 的执行日志暂时无法统计。

2.3、慢查询日志:

https://blog.csdn.net/weixin_41715077/article/details/83116520

2.4、binlog

通过命令获取上面第一个时间段的binlog日志

mysqlbinlog –no-defaults -s –start-datetime=’2018-11-07 17:57:00′ –stop-datetime=’2018-11-07 17:58:00′ mysql-bin.000564 -r 20181107-1757-1758

binglog中有 update delete 和insert 等事务型SQL,这也是我们重点需要优化的地方。

2.4.1、统计20181107-1757-1758文件中SQL执行次数

2.4.2、统计insert

共26次 ,可以先忽略。

80aa152374096ad8cc0a73337873daab.png

2.4.3、update

统计update次数。一分钟内共15885 次updat,平均每秒264。这个和上面统计数据基本一致。

f63fb76e5b04f43d08265e3448028800.png

2.4.4、分析哪些SQL执行频率比较高。

发现有两条SQL的执行频率最高,找到需要优化的地方。

989c7f73261d694b0420beea4269aa71.png

eca7b9d29e304e129f2d80dbd518b8c8.png

3、优化方式

先将需要Update 的数据放到redis 中,然后再定时或者根据设置数据条数的阈值来批量同步到mysql表中。比如当redis中数据超过1000时,按照上面的统计的TPS,大概是3秒钟同步一次。

但是要注意批量update的方式。使用mybatis 批量更新主要有两种方式。一种用for循环通过循环传过来的参数集合,循环出N条sql,另一种 用mysql的case when 条件判断变相的进行批量更新 。使用第一方式数据库连接必须配置:&allowMultiQueries=true

update t_customer set

user_top = #{cus.top},

user_co = #{cus.co},

user_cs = #{cus.cs},

user_cd = #{cus.cd},

user_ty = #{cus.ty}

where id = #{cus.id}

update t_customer

when id=#{us.id} then #{us.top}

when id=#{us.id} then #{us.co}

when id=#{us.id} then #{us.cs}

when id=#{us.id} then #{us.cd}

when id=#{us.id} then #{us.ty}

id in

(#{us.id})

两种方式对比,第一种方式根据主键或者唯一索引更新相对会快点,而且不容易产生死锁。第二种方式使用case when 且where条件中用in 无法利用索引,且容易产生死锁。

另外有使用spring batch 的效率可能会更高点,由于没有尝试过,这里无法判断。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/180009.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • mssql QUOTENAME 的作用[通俗易懂]

    mssql QUOTENAME 的作用[通俗易懂]简单来说吧比如你有一个表,名字叫index你有一个动态查询,参数是表名declare@tbnamevarchar(256)set@tbname=’index’—查这个表里的数据:print(‘select*from’+@tbname)exec(‘select*from’+@tbname)–这样print出来的数据是select*…

    2022年7月25日
    13
  • 异步fifo的工作原理_netty的异步实现原理

    异步fifo的工作原理_netty的异步实现原理FPGA(一):异步FIFO实现(包含源码和仿真文件)一、异步FIFO的重要参数及其作用1、FIFO:FirstInputFirstOutput,即先入先出队列,本质是RAM。FIFO有几个最重要的参数:2、wr_clk:写时钟,所有与写有关的操作都是基于写时钟;3、rd_clk:读时钟,所有与读有关的操作都是基于读时钟;4、FIFO_WIDTH:FIFO的位宽,即FIFO中每个地址对应的数据的位宽;5、FIFO_DEPTH:FIFO的深度,即FIFO中能存入多少个(位宽为FIFO_

    2022年8月13日
    3
  • goland激活码最新-激活码分享

    (goland激活码最新)这是一篇idea技术相关文章,由全栈君为大家提供,主要知识点是关于2021JetBrains全家桶永久激活码的内容IntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,下面是详细链接哦~https://javaforall.net/100143.htmlTR0LFTT656-eyJsa…

    2022年3月22日
    57
  • KAFKA删除topic步骤[通俗易懂]

    KAFKA删除topic步骤[通俗易懂]以下删除kafka主题的方法在Windows环境下测试通过

    2022年10月17日
    2
  • JavaScript日期格式化及解析

    JavaScript日期格式化及解析JavaScript开发经常需要对日期进行转换,把日期转成字符串或者从字符串生成日期。JavaScript日期对象内置了简单的日期格式化方法toString()和日期解析方法Date.parse(),这两个方法有较大的局限性,不能自定义自定义日期格式化和解析的字符串格式。下面列出一些常用的日期处理JS库。

    2022年5月25日
    41
  • SBC协议_蓝牙耳机sbc怎么改

    SBC协议_蓝牙耳机sbc怎么改sbcenc.c*main(intargc,charargv[])首先设定option的默认值,然后根据用户命令设定option相关参数。对指定文件进行编码(执行encode函数)usage(void)打印相关option:OptionOption打印帮助信息hhelp打印帮助信息vverbose详细模式mmsbcmSBC编解码器ssubbands子带数量(4/8)bbitpoolBitpoolvalue

    2022年9月11日
    2

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号