ELKB日志流:日志分类思路

ELKB日志流:日志分类思路目录 0 引言 1 分类思路 1 1 日志类型 1 2 日志内容 0 引言日志已经可以收集了 那总不能将所有的日志都放在一个索引下吧 那怎么对日志进行分类呢 1 分类思路我的分类思路主要是两个层级 日志类型 日志内容 1 1 日志类型将不同类型的日志保存到对应 ES 的索引中 比如 nginx 访问日志 mysql 错误日志 app 业务日志等 命名方式 nginx access 日志的收集有两种方式 Filebeat 推送 Redis 队列 Filebeat 推送 主要负责系统日

0、引言

1、分类思路

我的分类思路主要是两个层级:日志类型、日志内容;

  • 日志类型:即通过不同ES索引存储不同类型的日志;
  • 日志内容:对日志内容,根据指定字段进行分类;

2、日志类型分类

2.1 系统日志

2.2 业务日志

业务日志也可以分为两类 : 行为日志、 错误日志;

3、日志内容分类

业务日志内容输出时,指定日志格式,指定字段存储筛选条件
配置logstash过滤规则,将信息拆分,在kibana对应筛选过滤;

4、日志字段规划

4.1 业务日志:行为日志

日志名称测试 : System_Behavior_Log_Date

​ 例如 App_Behavior_Log_;

日志内容格式 : xxxx | xxxxx | xxxxx | xxxxx | xxxx

字段 描述
时间 日志创建时间 : 2020-01-01 12:12:12
业务 系统对应业务 :登录、、修改信息
操作人 对应系统业务: APP对应用户id、平台对应OA账号等
操作描述 本次操作描述:简短描述操作,方便查看
操作参数 json格式参数:将对应参数以json格式写入Redis

4.2 业务日志:错误日志

日志内容格式 : xxxx | xxxxx | xxxxx | xxxxx | xxxx

字段 描述
时间 日志创建时间 : 2020-01-01 12:12:12
系统 日志产生系统 : APP、门户平台等
业务 系统对应业务 :登录、绑定学员、修改信息
错误类型(未确定) 错误类型标识: Notice、Error
错误地址 发生错误地址:xxx.com/xxx/xxx
错误文件 发生错误文件:文件名及行数
错误参数 发生错误参数:将对应参数以json格式写入Redis
错误描述 本次操作描述:简短描述操作,方便查看
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/232312.html原文链接:https://javaforall.net

(0)
上一篇 2025年10月19日 下午12:01
下一篇 2025年10月19日 下午12:22


相关推荐

  • elasticsearch面试必考(亲身经历的问题)

    作者:手留余香|转自:Java架构沉思录|原文面试题es写入数据的工作原理是什么啊?es查询数据的工作原理是什么啊?底层的lucene介绍一下呗?倒排索引了解吗?面试官心理分析问这个,其实面试官就是要看看你了解不了解es的一些基本原理,因为用es无非就是写入数据,搜索数据。你要是不明白你发起一个写入和搜索请求的时候,es在干什么,…

    2022年4月4日
    158
  • ES数据库操作入门总结「建议收藏」

    ES数据库操作入门总结「建议收藏」elasticsearch总的来说应该算是一个搜索引擎,公司使用一般是作为日志结果查询。json文档格式,倒排索引的快速以及分布式的特性,使得es可以在大量数据中快速查询到结果。windows安装和配置可参考官方网址。https://www.elastic.co/guide/en/elasticsearch/reference/current/zip-windows.html倒排查询可参考这个知乎回答https://zhuanlan.zhihu.com/p/62892586可以使用浏览器的U

    2022年5月13日
    74
  • C++——二维vector初始化大小方法

    C++——二维vector初始化大小方法初始化二维 vector 为 r c 的 vector 所有值为 0 1 直接用初始化方法 刚开始没想到 vectorvector r vectorint c 0 2 用 resize 来控制大小 vectorvector res resize r r 行 for intk 0 kr

    2026年3月26日
    2
  • PyCharm 2021.12.13 激活 破解_在线激活

    (PyCharm 2021.12.13 激活 破解)好多小伙伴总是说激活码老是失效,太麻烦,关注/收藏全栈君太难教程,2021永久激活的方法等着你。IntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,下面是详细链接哦~https://javaforall.net/100143.html0BXA05X8YC-eyJsaWNlbnNlSW…

    2022年3月30日
    58
  • Java程序设计(高级及专题)- 异常机制「建议收藏」

    Java程序设计(高级及专题)- 异常机制「建议收藏」Java程序设计(高级及专题)- 异常机制

    2022年4月22日
    52
  • 二小姐对群环域的理解

    二小姐对群环域的理解从本质上来看,群=非空集合+二元运算,群的定义主要包括四个方面:封闭性:二元运算的定义就可以满足这个性质 结合律:可以确保多个元素运算时得到唯一的结果,不受运算先后的影响,从而有(或na)的表达式 单位元:唯一 逆元:任意元素均有且唯一特殊的群为循环群;群举例:Z(加法);Zn(加法)明确了群的定义后,我们接着了解群的各类特殊子群的定义和性质:子群H=群G的子集合+二元运算…

    2022年6月21日
    24

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号