MySQL百万级数据量分页查询方法及其优化「建议收藏」

MySQL百万级数据量分页查询方法及其优化

大家好,又见面了,我是全栈君。

点击上方“ 码农编程进阶笔记 ”,选择“置顶或者星标”
文末有干货,每天定时与您相约!

方法一:直接使用数据库提供的SQL语句

语句样式:MySQL中可用如下方法:

select * from table_name limit m, n;

适用场景:适用于数据量较少的情况(元组百/千级)

原因/缺点: 全表扫描,速度会很慢 且 有的数据库结果集返回不稳定(如某次返回1,2,3,另外的一次返回2,1,3). limit限制的是从结果集的 m 位置处取出 n 条输出,其余抛弃.

方法二:建立主键或唯一索引,利用索引(假设每页10条)

语句样式: MySQL中,可用如下方法:

select * from table_name where id_pk > (pageNum*10) limit m;

适应场景: 适用于数据量多的情况(元组数上万)

原因: 索引扫描,速度会很快. 有朋友提出: 因为数据查询出来并不是按照pk_id排序的,所以会有漏掉数据的情况,只能方法3

方法三:基于索引再排序

语句样式,MySQL中可用如下方法:

select * from table_name where id_pk > (pageNum * 10) order by id_pk asc limit m;

适应场景: 适用于数据量多的情况(元组数上万). 最好 order by 后的列对象是主键或唯一所以,使得 order by 操作能利用索引被消除但结果集是稳定的(稳定的含义,参见方法1)

原因: 索引扫描,速度会很快. 但MySQL的排序操作,只有 asc 没有 desc ( desc 是假的,未来会做真正的 desc ,期待…).

方法四:基于索引使用prepare

第一个问号表示pageNum,第二个问号表示每页元组数

语句样式,MySQL中可用如下方法:

prepare stmt_name from select * from table_name where id_pk > (? * ?) order by id_pk asc limit m;

适应场景: 大数据量

原因: 索引扫描,速度会很快. prepare语句又比一般的查询语句快一点。

方法五:利用MySQL支持order操作可以利用索引快速定位部分元祖,避免全表扫描

比如:读第1000到1019行元组(pk是主键/唯一键).

select * from your_table where pa >= 1000 order by pk asc limit 0,20;

方法六:利用”子查询/连接+索引”快速定位元祖的位置,然后再读取元祖。

比如(id是主键/唯一键,蓝色字体时变量)

利用子查询示例:

select * from your_table where id <= 
(select id from your_table order by id desc limit ($page - 1) * $pagesize order by id desc limit $pagesize)

利用连接示例:

select * from your_table as t1
join (select id from your_table order by id desc limit ($page - 1) * $pagesize as t2 where t1.id <= t2.id order by t1.id desc limit $pagesize);

mysql大数据量使用limit分页,随着页码的增大,查询效率越低下。

往日精选文章

2020最新版MySQL数据库面试题(一)

2020最新版MySQL数据库面试题(二)

2020最新版MySQL数据库面试题(三)

别怕!MySQL引起的CPU消耗过大,我有办法

一次SQL查询优化原理分析(900W+数据,从17s到300ms)

为什么 select count(*) from t,在 InnoDB 引擎中比 MyISAM 慢?

MySQL百万级数据量分页查询方法及其优化「建议收藏」

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/111799.html原文链接:https://javaforall.net

(0)
上一篇 2022年2月14日 下午8:00
下一篇 2022年2月14日 下午9:00


相关推荐

  • update语句详解

    update语句详解update 命令语法 UPDATE 表名 SETcolumn name value column name2 value2 WHEREconditi 或者理解为 UPDATE 表名 SET 列名 VALUEWHERE 条件 注意 column name 为要更改的数据列 尽量带上 value 为修改后的数据 可以为变量 具体指 表达式或者嵌套的 SELECT 结果 例如 UPDATE student SET b

    2026年3月20日
    3
  • asp.net core 阿里云消息服务(Message Service,原MQS)发送接口的实现

    asp.net core 阿里云消息服务(Message Service,原MQS)发送接口的实现最近在后台处理订单统计等相关功能用到了大力的mqs,由于官方没有实现asp.netcore的sdk,这里简单实现了发送信息的功能,有兴趣的可以参考实现其他相关功能usingSystem;usingSystem.Collections.Generic;usingSystem.Linq;usingSystem.Net.Http;usingSystem.Net.Http.Headers;…

    2025年7月1日
    7
  • python:shapely模块

    python:shapely模块目录一 几何对象 1 点 Point 2 线 LineString 3 闭合线 LinearRing 4 多边形 Polygon 5 集合 Collections 6 多个点 MultiPoint 7 多条线 MultiLineStr 8 多个多边形 MultiPolygon 二 属性和方法三 仿射变换四 地图投影和转换一 几何对象 1 点 Point fromshapely geometryimpo Point 0 0 0 0 属性说明

    2026年3月18日
    1
  • 站长关心的广告联盟简单的介绍跟评价[通俗易懂]

    站长关心的广告联盟简单的介绍跟评价[通俗易懂]联盟是每一个开始网络淘金的站长都遇到的问题,很多人吃过亏,比如那个垃圾智易联盟,我知道这里每天只有1000多个人看,但是希望每一个关心网站建设的朋友少走一些弯路,找到自己金矿,呵呵发表时间:2005-11-133:59:37原文作者:心情沙发金山网盟:金山估计会一直烧钱下去的,但是金山的针对性比较强,估计对下载等资源站的效果更好一点。百度搜索联盟:baidu虽然封站,引起站长的仇恨,不过ba

    2025年12月8日
    5
  • SynchronousQueue详解「建议收藏」

    SynchronousQueue详解「建议收藏」SynchronousQueue是BlockingQueue的一种,所以SynchronousQueue是线程安全的。SynchronousQueue和其他的BlockingQueue不同的是SynchronousQueue的capacity是0。即SynchronousQueue不存储任何元素。也就是说SynchronousQueue的每一次insert操作,必须等待其他线性的remove操作。而每一个remove操作也必须等待其他线程的insert操作。这种特性可以让我们想起了Exchanger

    2022年6月22日
    36
  • python allure报告_Pytest+Allure 定制报告

    python allure报告_Pytest+Allure 定制报告前言:最近在研究接口自动化的框架,好的测试报告在整个测试框架起到至关重要的部分。终于被我发现一个超好用的报告框架,不仅报告美观,而且方便CI集成。就是它,就是它:AllureTestReport!!!先上一张报告效果图:python版本及必要库python3.5pytest3.3.3pytest-allure-adaptor1.7.9一、环境配置安装Python依赖库:pip3…

    2022年7月26日
    23

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号