MySQL Longtext字段优化记录(一)[通俗易懂]

全栈程序员-站长 • 2022年5月14日下午2:20 • 未分类 • 阅读 50

MySQL Longtext字段优化记录(一)[通俗易懂]Longtext优化记录

大家好，又见面了，我是你们的朋友全栈君。

工作中遇到一个查询很慢的情况，环境如下：

开发语言：JAVA

数据库：MySQL

数据量：1600~1800

问题：查询200条时就很慢，是慢在IO上：

MySQL Longtext字段优化记录(一)[通俗易懂]

如果是查全部(一千六百多条)，就更慢了，几乎四十秒还没有返回：

MySQL Longtext字段优化记录(一)[通俗易懂]

原因：数据表中有个longtext字段：

MySQL Longtext字段优化记录(一)[通俗易懂]

优化思路：数据库中不存longtext字段，新增blob字段，将文本在后端压缩为bytep[]存到blob二进制字段中，查询时返回。理由：zip是现在成熟的压缩算法，基于LZ77算法和哈夫曼编码，可以把文本(String)较大程度地压缩为byte[]。注：不建议再把压缩后的byte[] BASE64为String，因为BASE64是一种编码方式。

数据流图：

MySQL Longtext字段优化记录(一)[通俗易懂]

blob字段：

MySQL Longtext字段优化记录(一)[通俗易懂]

后端使用Zip压缩算法，使用java.util.zip包下的DeflaterOutputStream和InflaterOutputStream，压缩文本再保存。压缩使用DeflaterOutputStream：

MySQL Longtext字段优化记录(一)[通俗易懂]

插入测试：

MySQL Longtext字段优化记录(一)[通俗易懂]

插入成功：

MySQL Longtext字段优化记录(一)[通俗易懂]

查询时用InflaterOutputStream将byte[]解压缩还原为文本，new String()：

MySQL Longtext字段优化记录(一)[通俗易懂]

MySQL Longtext字段优化记录(一)[通俗易懂]

查询测试：
MySQL Longtext字段优化记录(一)[通俗易懂]

插入和查询测试通过，再将原表的longtext全都更新到blob字段中，然后把原表拷贝到两张表，一张表保留longtext字段，一张表保留blob字段，查询比对如下：

MySQL Longtext字段优化记录(一)[通俗易懂]

说明blob字段IO速度比long text字段IO速度快很多。

注：这种方式就是不存原文本内容，弊端就是无法做对文本的搜索功能，如果要求要对文本做搜索，或者保留为文档到ES中，建议把content字段拆出来一张表和主表关联，也是保存和查询需要处理一下。

希望对你有所帮助。

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们举报，一经查实，本站将立刻删除。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/146755.html原文链接：https://javaforall.net

赞 (0)

全栈程序员-站长

0 0

idea

IntelliJ IDEA 如何配置git[通俗易懂]

提示：IntelliJIDEA以下简称IDEA；IntelliJIDEA配置git：需要的材料：一、git.exe二、配置git.exe的环境变量三、IDEA编辑器接下来就是配置了：①你必须去github官网下载一个git.exe,不知道官网的请点击这里，下载完之后安装即可。②安装完之后打开所在目录找到bin这个文件夹，我的是在D:\软件\GitHub\G…

全栈程序员-站长
2022年4月9日
73
CSS 颜色代码大全 CSS颜色对照表[通俗易懂]

CSS 颜色代码大全 CSS颜色对照表[通俗易懂]转载地址：https://blog.csdn.net/u012117917/article/details/41604711HTML及CSS常用颜色英文词汇黑色银色灰色白色茶色红色紫色紫红 black silver gray white maroon …

全栈程序员-站长
2022年5月17日
142
语音芯片，语音合成芯片，嵌入式语音合成软件的区别

语音芯片，语音合成芯片，嵌入式语音合成软件的区别在当前科技发达，越来越智能的时代，追求产品体验更好，人机交互带有语音播报越来越成为一种时尚。无论是家用产品，还是室外公共设备，市场上带有语音提示和语音预警的产品也与日俱增，越来越受到消费者的青睐，语音功能让产品更智能，极大的增强了用户的产品体验。除了手机，平板等智能设备外，在智能家居等产品上要实现语音播报功能，有以下3种解决方案，我们逐一进行介绍。

全栈程序员-站长
2022年6月26日
25
linux 更改文件读写权限_如何查看自己文件的权限

linux 更改文件读写权限_如何查看自己文件的权限整理下Linux文件权限相关知识一、查看文件夹或文件的可读可写权限：ls-l文件夹解析“drwxrwxrwx”，这个权限说明一共10位。第一位代表文件类型，有两个数值：“d”和“-”，“d”代表目录，“-”代表非目录。后面9位可以拆分为3组来看，分别对应不同用户，2-4位代表所有者user的权限说明，5-7位代表组群group的权限说明，8-10位代表其他人

全栈程序员-站长
2025年10月30日
3
creo每次都要配置config_config怎么打开

creo每次都要配置config_config怎么打开前言每个测试用例都应该有config部分，可以配置用例级别。比如name、base_url、variables、verify、export等等案例演示fromhttprunnerimport

全栈程序员-站长
2022年8月6日
4
【手打】LZW编码的C/C++实现「建议收藏」

【手打】LZW编码的C/C++实现

全栈程序员-站长
2022年1月25日
46

发表回复

关注全栈程序员社区公众号