java使用多线程查询大批量数据

java使用多线程查询大批量数据前言在某些时候 一旦单表数据量过大 查询数据的时候就会变得异常卡顿 虽然在大多数情况下并不需要查询所有的数据 而是通过分页或缓存的形式去减少或者避免这个问题 但是仍然存在需要这样的场景 比如需要导出一大批数据到 excel 中 导出数据之前 首先得把数据查询出来吧 这个查询的过程 数据量一旦过大 单线程查询数据将会成为瓶颈 下面尝试使用多线程来尝试查询一张数据量较大的表由于代码逻辑不是很难 直接上

前言

在某些时候,一旦单表数据量过大,查询数据的时候就会变得异常卡顿,虽然在大多数情况下并不需要查询所有的数据,而是通过分页或缓存的形式去减少或者避免这个问题,但是仍然存在需要这样的场景,比如需要导出一大批数据到excel中,导出数据之前,首先得把数据查询出来吧?这个查询的过程,数据量一旦过大,单线程查询数据将会成为瓶颈,下面尝试使用多线程来尝试查询一张数据量较大的表

由于代码逻辑不是很难,直接上代码,关键的地方会有代码注释和说明,总体实现思路:

  • 查询表的数据总量
  • 线程切分,根据本机CPU的核数配置合适数量的线程处理数,根据数据总量为不同的线程分配不同的查询数据量分段,即不同的线程查询不同分段的数据
  • 将各个查询数据的线程提交至线程池,这里使用的线程是带有返回结果的异步线程

1、测试控制器

 @GetMapping("/getSysLogMulti") @ApiOperation(value = "多线程获取日志数据", notes = "多线程获取日志数据", produces = "application/json") public List getSysLogMulti() { return operLogService.getSysLogMulti(); } 

2、业务实现类

 @Autowired private MultiThreadQueryUtil multiThr
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/227019.html原文链接:https://javaforall.net

(0)
上一篇 2026年3月16日 下午10:08
下一篇 2026年3月16日 下午10:08


相关推荐

  • futex的使用_fuel开关

    futex的使用_fuel开关futex_t::wake实际是一个计数器,防止在调用futex_wait函数前调用futex_wake而出现的死等现象,函数futex只在满足(*addr1==val)时等待。futex_wait函数与futex_wake函数配合使用,前者等待后者唤醒。futex_lock函数与futex_unlock函数配合使用,前者加锁后者解锁。应该是对数据加锁,而不应该对代码

    2026年2月7日
    4
  • lseek函数的用法

    lseek函数的用法所有打开的文件都有一个当前文件偏移量(currentfileoffset),以下简称为cfo。cfo通常是一个非负整数,用于表明文件开始处到文件当前位置的字节数。读写操作通常开始于cfo,并且使cfo增大,增量为读写的字节数。文件被打开时,cfo会被初始化为0,除非使用了O_APPEND 。   使用lseek函数可以改变文件的cfo。       #in…

    2022年6月17日
    54
  • Jenkins使用教程

    Jenkins使用教程Jenkins是一款流行的开源持续集成(ContinuousIntegration)工具,广泛用于项目开发,具有自动化构建、测试和部署等功能。本文以CentOS7环境为例,总结了Jenkins的安装与配置、邮件功能使用,并接入阿里巴巴的著名开源项目fastjson,以此演示Java项目(SVN+Maven)中FindBugs/CheckStyle/PMD等常用插件的使用、单元…

    2022年5月15日
    36
  • 数据库习题及答案5

    数据库习题及答案5模拟测验1一、1 2 3 4 5 6 7 8 9 10A D C c D A C A A C一、选择题(在每个小题四个备选答案中选出一个正确答案,填在题末的括号中)(本大题共10小题,每小题2分,总计20分)()是位于用户与操作系统之间的一层数据管理软件,它属于系统软件,它为用户或应用程序提供访问数据库的方法。数据库在建立、使用和维护时由其统一管理、统一控制。A.DBMSB.DBC.DBSD.DBA下列四项中,不属于SQL2005实用程序的是()。A.对象资源管理器B.查询分析.

    2025年6月9日
    7
  • linux smb访问windows(windows smb共享 设置)

    【SMB】windows配置访问smb服务器windows如何访问SMB服务器,大致有以下几种方法,建议采用第三种方式:使用windows系统自带的smb客户端进行访问通过windows自带的smb客户端进行访问的方式不可取,在勒索病毒事件后,445端口被禁用了,而windowssmb客户端默认访问445端口,因此使用该方法必然不可行使用代理的方式进行访问(不建议使用)Samba:基于公网IP的服务访问采用以上方式配置代理进行访问SMB服务器,成功

    2022年4月13日
    77
  • chatgpt plus会员和 pro 会员区别

    chatgpt plus会员和 pro 会员区别

    2026年3月15日
    2

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号