Logtail从入门到精通(二):开启日志采集之旅

Logtail从入门到精通(二):开启日志采集之旅

Logtail相关概念

为了更好的了解日志采集,这里我们首先对日志采集中遇到的基本概念进行简要的介绍。

概念介绍

  • 项目:项目(Project)是日志服务中的资源管理单元,用于资源隔离和控制。您可以通过项目来管理某一个应用的所有日志及相关的日志源。它管理着用户的所有日志库(Logstore),采集日志的机器配置等信息,同时它也是用户访问日志服务资源的入口。
  • 日志库: 日志库(Logstore)是日志服务中日志数据的采集、存储和查询单元。每个日志库隶属于一个项目,且每个项目可以创建多个日志库。
  • Logtail客户端: Logtail是一款执行日志收集工作的Agent,一般安装在需要收集日志的服务器上,作为独立软件运行。
  • 机器组:
    一个机器组包含一或多台需要收集一类日志的机器。通过绑定一组Logtail配置到一个机器组,可以让日志服务根据同样的Logtail配置采集一个机器组内所有服务器上的日志。
  • 采集配置:
    是Logtail收集日志的策略集合,采集配置一般包括需要采集的数据源、解析方式、过滤方式等参数,所有采集配置均在控制台进行管理。

各概念间关系

clipboard.png

安装配置流程

Logtail的安装配置流程相对比较简单,如果日志服务和ECS在同一账号下,则只需5个步骤即可实现采集。

  • 日志服务已经和ECS打通,可自动获取ECS对应的owner信息,因此不需要设置aliuid信息。

安装Logtail

ECS安装

  1. 购买一台ECS
  2. 根据ECS所在区域选择Logtail安装脚本(参见Logtail安装指南)

例如华东1的经典网络,使用wget http://logtail-release.oss-cn…; chmod 755 logtail.sh; sh logtail.sh install cn_hangzhou
使用/etc/init.d/ilogtaild status检查Logtail运行状态,如输出ilogtail is running表示安装成功

clipboard.png

自建主机安装
选择任意公网Logtail安装脚本(参见Logtail安装指南)

例如选择华东1公网安装,使用wget http://logtail-release.oss-cn…; chmod 755 logtail.sh; sh logtail.sh install cn_hangzhou_internet
使用/etc/init.d/ilogtaild status检查Logtail运行状态,如输出ilogtail is running表示安装成功
配置账号标识文件(参见非本人ECS/线下机器,配置完成后无需重启Logtail)

配置

创建项目和日志库
在阿里云官网产品中选择日志服务或直接点击进入日志服务控制台,若您当前没有开通,会提示您开通日志服务,点击开通。
点击创建Project按钮,地域(Region)中选择Logtail安装时所选的地域,例如选择华东1(杭州)。

clipboard.png

Project创建成功后会提示创建Logstore,点击创建;这里我们输入Logstore名称,其他参数无需修改,点击确认。

clipboard.png

创建采集配置
Logstore创建完毕后,会提示进行数据接入。如下图所示,可通过三个入口创建采集配置:

clipboard.png

在采集配置中我们选择极简模式,日志路径中的文件夹和文件名分别输入/var/log和message,点击下一步。

clipboard.png

创建机器组并应用

配置页面点击下一步后,会提示您选择机器组,这里我们点击创建机器组。

clipboard.png

机器组配置页面中选择IP地址类型的机器组,IP输入ECS的内网IP(Logtail获取的IP地址可通过cat /usr/local/ilogtail/app_info.json查看)

clipboard.png

保存机器组后,勾选该机器组并点击应用到机器组。后续设置无需关心,直接点击下一步。

clipboard.png

查看日志
此时采集配置已经创建完毕,您可以尝试退出重新登录主机或输入命令echo “test message” >> /var/log/message,这时本地/var/log/message文件会有新的日志产生,Logtail就会采集到这些数据了。

点击日志库页面的预览或查询链接,即可看到Logtail采集上来的日志了。

clipboard.png

clipboard.png

clipboard.png

详情请阅读原文

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/101706.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • Java 程序员必须掌握的 4 大开源框架!

    Java 程序员必须掌握的 4 大开源框架!对于开发来说,我们在工作中普遍都会用到各个开源框架,比如最基础的Spring,使开发网络编程变得特别简单的Netty框架,还有成为目前微服务框架首选的SpringCloud等。在多个框架之上,我们仅需使用几行代码,即可实现业务需要的复杂功能,大大减少了工作量。也正因如此,不少人只会用框架,看不懂源码,不了解其底层机制与实现原理,成了一名只会搬运源码库的开发。说白了,就是真正牛逼的技术不属于你。可了解框架中的很多知识和代码,对解决开发中的类似问题是极其有帮助的。因为它们是经过时..

    2022年7月8日
    32
  • 一些有用的网站(长期记录)「建议收藏」

    一些有用的网站(长期记录)「建议收藏」1.PPT超级市场(完全免费的 PPT 模板下载网站)http://ppt.sotary.com/web/wxapp/index.html2.熊猫搜书https://ebook.huzerui.com/3.秘塔写作猫(AI智能写作工具)xiezuocat.com/4.联图云光盘(收录了很多的光盘资料的在线学习网站)http://discx.yuntu.io/5.GitMind完全免费的在线思维导图制作网站https://gitmind.cn/6.简答题(搜题)

    2022年8月18日
    3
  • ODS层设计规范_环境类别二类的保护层厚度是多少

    ODS层设计规范_环境类别二类的保护层厚度是多少ODS层设计规范更新时间:2021-06-0814:37我的收藏本页目录数据同步及处理规范 命名规范 数据存储及生命周期管理规范 数据质量规范本文为您介绍ODS层设计规范。数据同步及处理规范数据同步方式的选择 基本规范通过需求形式落地到DataWorks的数据集成,规范落地情况依赖工具的推进节奏。一个系统的源表只允许同步一次到MaxCompute。 数据加载与处理 通过一键实时同步至MaxCompute方案实现,请参见配置查看数据同步任务。 命名规范表命名

    2022年10月6日
    0
  • 几款永久免费内网穿透,好用且简单(内网穿透教程)

    对于网络用户来说,一定都经历过出门在外无法直接在外网访问内网、或是难以部署异地远程桌面,因此心急如焚的情况;对于企业来说,无论是财务管理软件难以将分店信息同步到总部进行统计汇总、还是员工出差在外或在家里就不能访问企业内部办公系统,都极大地影响了公司整体效率;对于个人开发者来说,微信小程序或者在线支付系统等开发环境往往需要一个可以外部访问的公网环境进行调试,而大多数的企业网络都被运营商做了转发设置,…

    2022年4月16日
    90
  • QXDM 安装[通俗易懂]

    QXDM 安装[通俗易懂]http://download.microsoft.com/download/5/6/7/567758a3-759e-473e-bf8f-52154438565a/dotnetfx.exe

    2022年10月3日
    0
  • webpack版本问题_webpack查询有没有安装

    webpack版本问题_webpack查询有没有安装卸载后重新安装卸载重新安装卸载#卸载全局npmuninstall-gwebpack-clinpmuninstall-gwebpack#卸载局部npmuninstallwebpack-clinpmuninstallwebpack重新安装npminstall-g–save-devwebpack@version#不指定版本,默认安装最新npminstall-g–save-devwebpack-cli#查看webpack-v#若命令不存在,

    2022年8月10日
    3

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号