logstash过滤错误日志_高考专业报名指南

logstash过滤错误日志_高考专业报名指南Logstash 参考指南(关闭Logstash)

大家好,又见面了,我是你们的朋友全栈君。

关闭Logstash

如果你将Logstash作为服务运行,请使用以下命令之一来停止它:

  • systemd使用:
systemctl stop logstash
  • upstart使用:
initctl stop logstash
  • sysv使用:
/etc/init.d/logstash stop

如果你正在POSIX系统的控制台中直接运行Logstash,那么你可以通过向Logstash发送SIGTERM来停止它,例如:

kill -TERM {logstash_pid}

或者,在控制台中输入Ctrl-C

在受控关闭期间会发生什么?

当你试图关闭一个正在运行的Logstash实例时,在它可以安全关闭之前,Logstash会执行几个步骤,它必须:

  • 停止所有输入、过滤和输出插件
  • 处理所有运行中的事件
  • 终止Logstash进程

以下条件影响关闭过程:

  • 一个输入插件以缓慢的速度接收数据。
  • 一个缓慢的过滤器,例如执行sleep(10000)的Ruby过滤器或执行非常繁重查询的Elasticsearch过滤器。
  • 一个断开连接的输出插件,正在等待重新连接以刷新运行中的事件。

这些情况使得关闭过程的持续时间和成功不可预测。

Logstash有一个失速检测机制,可以分析关闭期间管道和插件的行为,这种机制定期生成关于内部队列中运行中的事件计数和繁忙工作线程列表的信息。

为使Logstash在中断运行的情况下强制终止,当你启动Logstash时使用--pipeline.unsafe_shutdown

不安全的关闭、Logstash进程的强制关闭或由于任何其他原因导致的Logstash进程崩溃都可能导致数据丢失(除非你启用了Logstash使用持久队列),尽可能安全的关闭Logstash。

失速检测的例子

在本例中,缓慢的过滤器执行可以防止管道完全关闭,由于Logstash是由--pipeline.unsafe_shutdown标志启动的,因此关闭会导致20个事件的丢失。

bin/logstash -e 'input { generator { } } filter { ruby { code => "sleep 10000" } }
  output { stdout { codec => dots } }' -w 1 --pipeline.unsafe_shutdown
Pipeline main started
^CSIGINT received. Shutting down the agent. {:level=>:warn}
stopping pipeline {:id=>"main", :level=>:warn}
Received shutdown signal, but pipeline is still waiting for in-flight events
to be processed. Sending another ^C will force quit Logstash, but this may cause
data loss. {:level=>:warn}
{"inflight_count"=>125, "stalling_thread_info"=>{["LogStash::Filters::Ruby",
{"code"=>"sleep 10000"}]=>[{"thread_id"=>19, "name"=>"[main]>worker0",
"current_call"=>"(ruby filter code):1:in `sleep'"}]}} {:level=>:warn}
The shutdown process appears to be stalled due to busy or blocked plugins.
Check the logs for more information. {:level=>:error}
{"inflight_count"=>125, "stalling_thread_info"=>{["LogStash::Filters::Ruby",
{"code"=>"sleep 10000"}]=>[{"thread_id"=>19, "name"=>"[main]>worker0",
"current_call"=>"(ruby filter code):1:in `sleep'"}]}} {:level=>:warn}
{"inflight_count"=>125, "stalling_thread_info"=>{["LogStash::Filters::Ruby",
{"code"=>"sleep 10000"}]=>[{"thread_id"=>19, "name"=>"[main]>worker0",
"current_call"=>"(ruby filter code):1:in `sleep'"}]}} {:level=>:warn}
Forcefully quitting logstash.. {:level=>:fatal}

--pipeline.unsafe_shutdown未启用,Logstash继续定期运行并生成这些报告。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/107278.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • js split str.split(" "); split使用方法 在某处截字符串

    js split str.split(" "); split使用方法 在某处截字符串

    2021年12月7日
    64
  • Badboy自动化测试工具7 读取Excel

    Badboy自动化测试工具7 读取Excel

    2022年3月12日
    53
  • Linux服务器磁盘挂载

    Linux服务器磁盘挂载linux服务器磁盘挂载操作具体操作是:先对磁盘进行格式化,格式化后挂载到需要的挂载点,最后添加分区启动表,以便下次系统启动随机自动挂载。1、首先查看系统中磁盘信息,命令为:fdisk-l;2、找到未使用的磁盘,对其进行格式化。(操作数据盘符前,请自行确认磁盘是否有使用过,如有重要数据请谨慎操作,以免导致数据丢失,带来不必要的麻烦)。格式化命令为:mkfs.exte/dev/vdb;3、对格式化完成的磁盘进行挂载挂载前,先在服务器上创建一个需要挂载的挂载点,例如可

    2022年6月20日
    28
  • 移动端触摸touchstart监听事件[通俗易懂]

    移动端触摸touchstart监听事件[通俗易懂]click、mousedown等事件适用于PC端,在移动端会有一定时间的延迟,所以更好的优化移动端体验,要用touch事件,1、首先要添加一个监听事件,监听移动端行为element.addEventListener(event,function,useCapture)我这里是针对浏览器行为,所以监听事件为//添加触摸监听事件,如果手指触摸到阴影…

    2022年6月19日
    70
  • 服务器灾备解决方案–两地三中心(图文详解)[通俗易懂]

    服务器灾备解决方案–两地三中心(图文详解)[通俗易懂]说明两地三中心:两地是指同城、异地三中心是指生产中心、同城容灾中心、异地容灾中心。备端在线两地三中心灾备方案网络设计如下:容灾系统衡量指标衡量容灾系统的主要指标有RPO(RecoveryPointObject):灾难发生时允许丢失的数据量RTO(RecoveryTimeObjective):系统恢复的时间容灾半径:生产系统和容灾系统之间的距离ROI(R…

    2022年6月29日
    99
  • python读取txt文件封装方法版「建议收藏」

    #-*-coding:utf-8-*-importnumpyasnpdefreadData(file,cols):file=open(file)lines=file.readlines()rows=len(lines)datamat=np.zeros((rows,cols))row=0forlineinlin…

    2022年4月13日
    42

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号