Jstorm 环境搭建[通俗易懂]

Jstorm 环境搭建[通俗易懂]Jstorm环境搭建有三种安装部署方式:standalone模式、yarn模式、docker模式,其中standalone模式最简单、轻量、稳定比较常用,整体规模不超过300台,yarn模式外部依赖较重,规模至少30台,docker比较消耗性能。standalon模式安装步骤搭建外部依赖搭建jstorm之前需要先搭建外部依赖1.zookeeper2.jdk

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全家桶1年46,售后保障稳定

Jstorm 环境搭建

有三种安装部署方式:standalone模式、yarn模式、docker模式,其中standalone模式最简单、轻量、稳定比较常用,整体规模不超过300台,yarn模式外部依赖较重,规模至少30台,docker比较消耗性能。

standalon模式安装步骤

搭建外部依赖

搭建jstorm之前需要先搭建外部依赖
1. zookeeper
2. jdk 版本>=1.7

搭建Jstorm集群

新版本2.4.0
环境: hd-23/hd-24/hd-25
用户/密码:jstorm/*

1. 检查环境
– 检查机器ip是否返回正确的ip地址

$ hostname -i #查看返回的ip是否是本机ip,如果现实127.0.0.1,则修改/etc/hosts或网卡配置

Jetbrains全家桶1年46,售后保障稳定

  • 检查jdk是否安装以及版本是否高于1.7
$ java -version

2. 解压安装包,配置JStorm_Home

unzip jstorm-2.4.0.zip
# 配置环境变量
$ vi ~/.bashrc

export JSTORM_HOME=/home/jstorm/jstorm-2.4.0
export PATH=$PATH:$JSTORM_HOME/bin

# 配置后编译文件.bashrc
$ source ~/source ~/.bashrc

# 查看是否编译成功
$ echo $JSTORM_HOME

3. 配置 storm.yaml

配置zookeeper相关的配置项

$ cd /home/jstorm/jstorm-2.4.0/conf/
$ vi storm.yaml

 storm.zookeeper.servers:
     - "hd-23"
     - "hd-24"
     - "hd-25"

 storm.zookeeper.root: "/jstorm"
 storm.local.dir: "/home/jstorm/jstorm-2.4.0/data"
 jstorm.log.dir: "/home/jstorm/jstorm-2.4.0/logs"

java.library.path: "/usr/local/lib:/opt/local/lib:/usr/lib:/usr/local/lib/jdk1.8.0_77/lib"
supervisor.slots.ports:
    - 6800
    - 6801
    - 6802
    - 6803

说明:supervisor中的端口不能被占用,有几个端口就有几个worker
==注意:
i.每一行配置开头必须有空格,否则报错
ii.zookeeper端口必须一致,默认2181
iii.不能写hostname只能写ip 否则报错==

4.在24.25服务器上重复上述操作。
==必须保证storm.local.dir: “/home/jstorm/jstorm-2.4.0/data”初次安装时文件夹是空的,否则会出现缓存情况,导致supervisor的值与实际值不符==

5.安装WEB UI

mkdir ~/.jstorm
cp -f /home/jstorm/jstorm-2.4.0/conf/storm.yaml ~/.jstorm

#编辑文件,在末尾添加一下配置,此处也可以不配置。
 ui.clusters:
     - {
     # 集群名称
         name: "holly-jstorm", 
         #Zk根目录,与上文中的storm.zookeeper.root一致即可
         zkRoot: "/jstorm",
         zkServers:
             [ "hd-23","hd-24","hd-25"],
         zkPort: 2181,
       }



tar -xzf apache-tomcat-7.0.37.tar.gz
cd apache-tomcat-7.0.37
cd webapps
cp $JSTORM_HOME/jstorm-ui-2.4.0.war ./

mv ROOT ROOT.old
ln -s jstorm-ui-2.4.0 ROOT
../bin./startup.sh

6. 启动jstorm

# 在主节点服务器上执行以下命令
$ cd jstorm-2.4.0
$ nohup bin/jstorm nimbus &
# 查看是否启动成功
$ jps
4346 Bootstrap
4602 NimbusServer
4716 Jps
# 出现NimbusServer,说明主节点已启动
#也可以查看日志
$ tail -f logs/nimbus.log


# 去其他节点执行以下命令

$ cd cd jstorm-2.4.0
$ nohup bin/jstorm supervisor &
$ jps
24231 Supervisor
24297 Jps

# 出现Supervisor,说明启动成功

#也可以查看日志
$ tail -f logs/supervisor.log

7. 访问web ui 界面查看jtorm信息

http://hd-23:8087/

==注意:如果页面上supervisor 的数量与实际启动的值不符,则需要将data中的文件清除,重启==

提交jar

提交jar命令

$ jstorm jar xxx.jar xxx.java params
# xxx.jar jar名称
# xxx.java 主类入口
# params 参数(配置文件名称)
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/234216.html原文链接:https://javaforall.net

(0)
上一篇 2025年6月9日 下午12:43
下一篇 2025年6月9日 下午1:15


相关推荐

  • 正规矩阵

    正规矩阵将学习以什么关于正规矩阵的基础知识理解正规矩阵定义 定义 1 矩阵 A inM n 称为是正规的 如果 AA A A 也就是 如果 A 与它的共轭转置可交换 根据定义可以得出以下结论 如果 A inM n 是正规的 且 alpha in mathbb C 显然 alphaA 是正规的 即正规矩阵

    2026年3月20日
    1
  • 2020爱分析·智能通讯云厂商全景报告[通俗易懂]

    2020爱分析·智能通讯云厂商全景报告[通俗易懂]报告摘要企业面临业务增长的压力,通讯能力建设成为对内提升运营效率,对外提升产品竞争力和客户体验的重要手段,通讯云的场景应用正在加速渗透。基于对国内各行业甲方企业的调研,爱分析认为智能通讯云应用呈现以下趋势:•在提高内部运营效率方面,企业需要通过强化统一通讯能力,及提高办公智能化的方式实现;•对于企业的客服部门或呼叫中心而言,跑马圈地的时代已经过去,随着企业营销与服务渠道多元化,重心在促进营销转化与提升客户体验;•针对各行业的不同业务场景,通讯能力不仅是音视频交互工具的基础,还需..

    2022年5月18日
    50
  • Android视频编码_安卓视频解码器

    Android视频编码_安卓视频解码器SVideoRecorder(https://github.com/yellowcath/SVideoRecorder)使用Android原生的MediaCodec进行视频录制,对比大量使用FFmpeg进行录制的库优点如下:体积小 :编译后的aar只有187K,ffmpeg一个so就7、8M,精简之后也差不多还有一半大小 速度快 :在huaweiP9上,720P的一帧:  FFmpeg编码…

    2022年8月31日
    4
  • 科大讯飞星火大模型X支持130+语种 已为出海企业提供1.2亿台设备

    科大讯飞星火大模型X支持130+语种 已为出海企业提供1.2亿台设备

    2026年3月14日
    1
  • 解决Ubuntu18.04版本高分辨率下导致字体过小问题

    解决Ubuntu18.04版本高分辨率下导致字体过小问题我所使用的是小米笔记本,显示屏是3.2K的分辨率。由于分辨率太高了,然后在ubuntu18.04的版本下显示的字体很小,小到都看不清了那种。于是查找了调整18.04版本字体大小的方法如下:安装gnome-tweaks工具sudoapt-getinstallgnome-tweaks安装完之后,直接在终端输入gnome-tweaks即可运行该工具。然后调整缩放比例,因为我的电脑分辨率是3.2K,所以我调整的缩放比例是2倍刚刚好,如下图:调整完之后,直接关闭该工具。再次回到ubunt

    2022年7月21日
    31
  • python进阶(3)json文件与python字典的转化[通俗易懂]

    python进阶(3)json文件与python字典的转化[通俗易懂]序列化与反序列化按照某种规则,把内存中的数据保存到文件中,文件是一个字节序列,所以必须要把内存数据转换成为字节序列,输出到文件,这就是序列化;反之,从文件的字节恢复到内存,就是反序列化;pytho

    2022年8月6日
    8

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号