fgc java_内存紧张,FGC停不下来[通俗易懂]

fgc java_内存紧张,FGC停不下来[通俗易懂]客套话不说了哈,请社区里各路高人,指点以下,有点奔溃了。问题是这样:存储的是监控相关数据。日均7.5亿条数据,副本数1.算上副本,日均新增数据1.8T,只保存2天。查询入口只有UI点击,日pv在100以内(都是有问题才会去看监控)关键是有18台物理机,128G内存,单机双节点。每个节点Heap31G。只能跑一天到2天。。ES版本:1.7.1GC配置比较简单:G1,pause200ms…

大家好,又见面了,我是你们的朋友全栈君。

客套话不说了哈,请社区里各路高人,指点以下,有点奔溃了。

问题是这样:存储的是监控相关数据。

日均7.5亿条数据,副本数1. 算上副本,日均新增数据1.8T,只保存2天。查询入口只有UI点击,日pv在100以内(都是有问题才会去看监控)

关键是有18台物理机, 128G内存,单机双节点。每个节点Heap 31G。只能跑一天到2天。。

ES版本: 1.7.1

GC配置比较简单: G1, pause 200ms

运行一段时间后,大概一天后,陆续开始FGC,时间从15s ~ 5min不等,应该是mix gc失败后开始串行GC.

老年代基本吃完所有region,eden只有200M。

重启前,jmap了一下, [J 15G, 貌似是Long数组,但是不知道是ES的哪一块内存。

num     #instances         #bytes  class name

———————————————-

1:       3807192    15304408752  [J

2:       9767447     7021834000  [B

3:      25070955     1784529744  [C

4:      14629532     1170362560  org.elasticsearch.common.cache.LocalCache$Segment

5:      19221904      750032456  [Ljava.lang.Object;

6:      24674649      592191576  java.lang.String

7:       5196381      540423624  org.elasticsearch.action.index.IndexRequest

8:      14667374      469355968  java.util.concurrent.locks.ReentrantLock$NonfairSync

9:       3657374      468143872  org.elasticsearch.common.cache.LocalCache

10:      15372723      245963568  java.util.concurrent.atomic.AtomicInteger

11:      14629847      234077552  java.util.concurrent.atomic.AtomicReferenceArray

12:       7306511      233808352  org.elasticsearch.common.cache.LocalCache$StrongEntry

13:       6233374      199467968  java.util.HashMap$Node

14:       5315217      170086944  org.elasticsearch.common.joda.time.format.PeriodFormatter

15:       5315215      170086880  org.elasticsearch.common.unit.TimeValue

16:       3841132      153645280  java.util.LinkedHashMap$Entry

17:       4173918      133565376  org.elasticsearch.action.bulk.BulkItemResponse

18:       1058384      131618928  [Ljava.util.HashMap$Node;

19:       5196822      124723728  org.elasticsearch.common.bytes.BytesArray

20:       3657374      117036112  [Lorg.elasticsearch.common.cache.LocalCache$Segment;

21:       7307094      116913504  org.elasticsearch.common.cache.LocalCache$StrongValueReference

22:       2792201      111688040  java.util.TreeMap$Entry

23:       1866112       89573376  org.elasticsearch.action.index.IndexResponse

24:       3657344       87776256  org.apache.lucene.util.FixedBitSet

25:       3653252       87678048  org.elasticsearch.index.cache.fixedbitset.FixedBitSetFilterCache$Value

_cat看堆内存使用基本如下(保持在500m附近, siwm在1g附近,贴了一条)。

load  hp     hc  uptime      fm    fcm qcm im  pm      sm    siwm  siwmx   svmm     sfbm

18.61 86 26.6gb  18.5h 124.6mb   24mb  0b 0b -1b 593.3mb 873.8mb 10.9gb 21.2mb  918.3mb

….

目前我们的数据里有大量的数字类型,但是没有自定义mapping,都转成long保存了,联想到doc value,jmap里的数组,列式存储等等,知识体系不健全,无法准确定位,下午准备改下mapping,明天再折腾一下~

会有人回么? 哎呀,第一次在这个社区发帖子,还是这么老的版本。 waiting….

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/150788.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 逻辑漏洞之密码找回漏洞(semcms)「建议收藏」

    逻辑漏洞之密码找回漏洞(semcms)「建议收藏」目录什么是密码找回漏洞一般流程可能产生该漏洞的情况脑洞图1.用户凭证暴力破解2.返回凭证3.邮箱弱token4.用户凭证有效性5.重新绑定6.服务器验证7.用户身份验证8.找回步骤9.本地验证10.注入11.Token生成12.注册覆盖13.session覆盖演示暴破验证码找回密码更改id号修改admin密码靶场cms下载什么是密码找回漏洞利用漏洞修改他人帐号密码,甚至修改管理员的密码。一般流程1首先尝试正常找回密码流程,选择不同的找回方式,记录所有数据包2分析数据包,找到敏感部分3

    2022年4月30日
    74
  • MATLAB学习(3)

    MATLAB学习(3)

    2021年12月2日
    40
  • ⭐Python实现多线程并发下载大文件(制作支持断点续传的下载器的绝佳参考⁉️)⭐

    ⭐Python实现多线程并发下载大文件(制作支持断点续传的下载器的绝佳参考⁉️)⭐不知道各位童鞋们是否遇到过需要使用python下载文件的需求,当然一般情况下,我们更多是使用下载器去批量下载文件。但有时我们需要批量下载PDF,通过python解析出url后,直接使用python进行下载才是最方便的。对于常规的小文件,我们直接使用requests的get请求即可下载。对于网络不佳的网站,直接使用requests下载很可能网站中断直接下载失败。今天本文的的目前主要是教会大家如何实现python下载文件失败的断点续传,如何实现分片后多线程下载文件加速文件下载。下面我们以知乎视频《【AI混血

    2022年7月20日
    25
  • ubuntu中文输入法_ubuntu如何设置中文输入法

    ubuntu中文输入法_ubuntu如何设置中文输入法在Ubtuntu12.10中自带了中文输入法,可通过Ctrl+Space进行输入法到切换,在英文系统中同样已经预装了ibus,只需要下载一下简体中文语言包即可。如何安装简体中文语言包?依次选择SytemSetting–>LanguageSupport–>Install/RemoveLanguages后,将出现如下图所示窗口:将右侧Installed栏的选择框勾…

    2022年9月26日
    2
  • 监督学习,非监督学习,半监督学习和增强学习

    监督学习,非监督学习,半监督学习和增强学习根据机器学习可以解决的问题,可以将机器学习分为:分类和回归如果根据机器学习的算法分类,可以将机器学习分为:

    2025年5月30日
    3
  • 分辨率,像素,像素密度易懂

    分辨率,像素,像素密度易懂分辨率是什么?一般会说这个屏幕的分辨率是1920*1080,这就说明纵向和横向上有1920个和1080个像素点;像素点是什么?一个像素点就是一个色彩块,没有实际的物理尺寸;什么是屏幕像素密度?一英寸长的一条线上理论上会有多少个像素点;例如:一个手机长边有1920个像素点,短边有1080个像素点,屏幕大小(对角线的物理大小)是5.2英寸的,那么屏幕密度是怎么计…

    2022年5月4日
    60

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号