MySQL Longtext字段优化记录(一)[通俗易懂]

全栈程序员-站长 • 2022年5月14日下午2:20 • 未分类 • 阅读 50

MySQL Longtext字段优化记录(一)[通俗易懂]Longtext优化记录

大家好，又见面了，我是你们的朋友全栈君。

工作中遇到一个查询很慢的情况，环境如下：

开发语言：JAVA

数据库：MySQL

数据量：1600~1800

问题：查询200条时就很慢，是慢在IO上：

MySQL Longtext字段优化记录(一)[通俗易懂]

如果是查全部(一千六百多条)，就更慢了，几乎四十秒还没有返回：

MySQL Longtext字段优化记录(一)[通俗易懂]

原因：数据表中有个longtext字段：

MySQL Longtext字段优化记录(一)[通俗易懂]

优化思路：数据库中不存longtext字段，新增blob字段，将文本在后端压缩为bytep[]存到blob二进制字段中，查询时返回。理由：zip是现在成熟的压缩算法，基于LZ77算法和哈夫曼编码，可以把文本(String)较大程度地压缩为byte[]。注：不建议再把压缩后的byte[] BASE64为String，因为BASE64是一种编码方式。

数据流图：

MySQL Longtext字段优化记录(一)[通俗易懂]

blob字段：

MySQL Longtext字段优化记录(一)[通俗易懂]

后端使用Zip压缩算法，使用java.util.zip包下的DeflaterOutputStream和InflaterOutputStream，压缩文本再保存。压缩使用DeflaterOutputStream：

MySQL Longtext字段优化记录(一)[通俗易懂]

插入测试：

MySQL Longtext字段优化记录(一)[通俗易懂]

插入成功：

MySQL Longtext字段优化记录(一)[通俗易懂]

查询时用InflaterOutputStream将byte[]解压缩还原为文本，new String()：

MySQL Longtext字段优化记录(一)[通俗易懂]

MySQL Longtext字段优化记录(一)[通俗易懂]

查询测试：
MySQL Longtext字段优化记录(一)[通俗易懂]

插入和查询测试通过，再将原表的longtext全都更新到blob字段中，然后把原表拷贝到两张表，一张表保留longtext字段，一张表保留blob字段，查询比对如下：

MySQL Longtext字段优化记录(一)[通俗易懂]

说明blob字段IO速度比long text字段IO速度快很多。

注：这种方式就是不存原文本内容，弊端就是无法做对文本的搜索功能，如果要求要对文本做搜索，或者保留为文档到ES中，建议把content字段拆出来一张表和主表关联，也是保存和查询需要处理一下。

希望对你有所帮助。

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们举报，一经查实，本站将立刻删除。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/146755.html原文链接：https://javaforall.net

赞 (0)

全栈程序员-站长

0 0

SQL Set Language Transact-SQL 設置國家語言

SQL Set Language Transact-SQL 設置國家語言

全栈程序员-站长
2021年6月20日
83
ubuntu 查看 CPU 核数

ubuntu 查看 CPU 核数物理 CPU 的个数物理核心就是计算机上实际配置的 CPU 个数 wc l 是统计行数 cat proc cpuinfo grep physicalid sort u wc l 每个 CPU 的核数指 CPU 上集成的处理数据的 CPU 核心个数单核指 CPU 核心数一个双核则指的是两个 uniq 可以去重连续出现的相同记录 cat proc cpuinfo grep cpucores uniq 逻辑处理器数量操作系统可以使用逻辑 CPU

全栈程序员-站长
2025年12月4日
3
超全面的协方差矩阵介绍

超全面的协方差矩阵介绍阅读本文需要具备一定的线性代数基础通过本文你将对协方差矩阵有全面的理解定义 n 个随机向量 mathbf X X 1 X 2 X n T 两个随机向量的协方差 cov Xi Xj E Xi E Xi Xj E Xj cov X i X j E X i E X i X j E X j cov Xi Xj E Xi

全栈程序员-站长
2025年6月12日
5
设计模式

设计模式23模式介绍迭代器_二十三种设计模式

设计模式23模式介绍迭代器_二十三种设计模式一、什么是设计模式设计模式是一套被反复使用、多数人知晓的、经过分类编写的、代码设计经验的总结。使用设计模式是为了可重用代码、让代码更容易被他人理解、保证代码可靠性。毫无疑问，设计模式使代码编程真正工程化，设计模式是软件工程的基石，如同大厦的一块块砖头一样。项目中合理的运用设计模式可以完美的解决很多问题，每种模式都有响应的原理与之对应，每一个模式描述了一个在我们周围不断重复发生的问题，以及该问题…

全栈程序员-站长
2025年7月30日
4
如何使用eclipse软件创建一个Java项目？[通俗易懂]

如何使用eclipse软件创建一个Java项目？[通俗易懂]同学们在参加Java的时候老师肯定会教给你们如何去创建一个项目，这里怕有些同学没记住，所以单独为大家分享一篇如何使用eclipse软件创建一个Java项目教程，感觉有用的话收藏转发一下~eclipse创建Java项目教程1.首先我们需要打开eclipse软件，之后找到左上角的file选项卡，点击一下依次选择new-Javaproject选项，如图所示。2.随后会打开一个新建页面，在里面我们找到箭头所示的projectname处，在里面填写我们的Java项目名称，直接选择finish即可完成创建。

全栈程序员-站长
2022年7月9日
23
java打印数组内容

java打印数组内容在java中直接输出数组只能得到引用地址byte[]bytes={1,2,3,4,5};int[]ints={1,2,3,4,5};System.out.println(bytes);System.out.println(ints);输出[B@1b6d3586[S@4554617c打印数组内容publicstaticvoidmain(Stringargs

全栈程序员-站长
2022年4月29日
52

发表回复

关注全栈程序员社区公众号