Jstorm 环境搭建[通俗易懂]

Jstorm 环境搭建[通俗易懂]Jstorm环境搭建有三种安装部署方式:standalone模式、yarn模式、docker模式,其中standalone模式最简单、轻量、稳定比较常用,整体规模不超过300台,yarn模式外部依赖较重,规模至少30台,docker比较消耗性能。standalon模式安装步骤搭建外部依赖搭建jstorm之前需要先搭建外部依赖1.zookeeper2.jdk

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全家桶1年46,售后保障稳定

Jstorm 环境搭建

有三种安装部署方式:standalone模式、yarn模式、docker模式,其中standalone模式最简单、轻量、稳定比较常用,整体规模不超过300台,yarn模式外部依赖较重,规模至少30台,docker比较消耗性能。

standalon模式安装步骤

搭建外部依赖

搭建jstorm之前需要先搭建外部依赖
1. zookeeper
2. jdk 版本>=1.7

搭建Jstorm集群

新版本2.4.0
环境: hd-23/hd-24/hd-25
用户/密码:jstorm/*

1. 检查环境
– 检查机器ip是否返回正确的ip地址

$ hostname -i #查看返回的ip是否是本机ip,如果现实127.0.0.1,则修改/etc/hosts或网卡配置

Jetbrains全家桶1年46,售后保障稳定

  • 检查jdk是否安装以及版本是否高于1.7
$ java -version

2. 解压安装包,配置JStorm_Home

unzip jstorm-2.4.0.zip
# 配置环境变量
$ vi ~/.bashrc

export JSTORM_HOME=/home/jstorm/jstorm-2.4.0
export PATH=$PATH:$JSTORM_HOME/bin

# 配置后编译文件.bashrc
$ source ~/source ~/.bashrc

# 查看是否编译成功
$ echo $JSTORM_HOME

3. 配置 storm.yaml

配置zookeeper相关的配置项

$ cd /home/jstorm/jstorm-2.4.0/conf/
$ vi storm.yaml

 storm.zookeeper.servers:
     - "hd-23"
     - "hd-24"
     - "hd-25"

 storm.zookeeper.root: "/jstorm"
 storm.local.dir: "/home/jstorm/jstorm-2.4.0/data"
 jstorm.log.dir: "/home/jstorm/jstorm-2.4.0/logs"

java.library.path: "/usr/local/lib:/opt/local/lib:/usr/lib:/usr/local/lib/jdk1.8.0_77/lib"
supervisor.slots.ports:
    - 6800
    - 6801
    - 6802
    - 6803

说明:supervisor中的端口不能被占用,有几个端口就有几个worker
==注意:
i.每一行配置开头必须有空格,否则报错
ii.zookeeper端口必须一致,默认2181
iii.不能写hostname只能写ip 否则报错==

4.在24.25服务器上重复上述操作。
==必须保证storm.local.dir: “/home/jstorm/jstorm-2.4.0/data”初次安装时文件夹是空的,否则会出现缓存情况,导致supervisor的值与实际值不符==

5.安装WEB UI

mkdir ~/.jstorm
cp -f /home/jstorm/jstorm-2.4.0/conf/storm.yaml ~/.jstorm

#编辑文件,在末尾添加一下配置,此处也可以不配置。
 ui.clusters:
     - {
     # 集群名称
         name: "holly-jstorm", 
         #Zk根目录,与上文中的storm.zookeeper.root一致即可
         zkRoot: "/jstorm",
         zkServers:
             [ "hd-23","hd-24","hd-25"],
         zkPort: 2181,
       }



tar -xzf apache-tomcat-7.0.37.tar.gz
cd apache-tomcat-7.0.37
cd webapps
cp $JSTORM_HOME/jstorm-ui-2.4.0.war ./

mv ROOT ROOT.old
ln -s jstorm-ui-2.4.0 ROOT
../bin./startup.sh

6. 启动jstorm

# 在主节点服务器上执行以下命令
$ cd jstorm-2.4.0
$ nohup bin/jstorm nimbus &
# 查看是否启动成功
$ jps
4346 Bootstrap
4602 NimbusServer
4716 Jps
# 出现NimbusServer,说明主节点已启动
#也可以查看日志
$ tail -f logs/nimbus.log


# 去其他节点执行以下命令

$ cd cd jstorm-2.4.0
$ nohup bin/jstorm supervisor &
$ jps
24231 Supervisor
24297 Jps

# 出现Supervisor,说明启动成功

#也可以查看日志
$ tail -f logs/supervisor.log

7. 访问web ui 界面查看jtorm信息

http://hd-23:8087/

==注意:如果页面上supervisor 的数量与实际启动的值不符,则需要将data中的文件清除,重启==

提交jar

提交jar命令

$ jstorm jar xxx.jar xxx.java params
# xxx.jar jar名称
# xxx.java 主类入口
# params 参数(配置文件名称)
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/234216.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • Linux安装Node.js(图文解说详细版)

    Linux安装Node.js(图文解说详细版)第一步,下载安装包https://nodejs.org/dist/v12.14.1/第二步,上传到云服务器第三步,解压源码tar-zxvfnode-v12.14.1-linux-x64.tar.gz第四步,验证是否成功出现版本号说明成功了第五步,设置全局命令行vim/etc/profile之后就在任何地方的命令行输入node-v显示出信息就说明安装成功了…

    2022年10月20日
    2
  • oracle锁表怎么处理_锁表如何解决办法

    oracle锁表怎么处理_锁表如何解决办法ORACLE锁表如何处理看哪个表锁住了SELECTB.OWNER,B.OBJECT_NAME,A.SESSION_ID,A.LOCKED_MODEFROMV$LOCKED_OBJECTA,DBA_OBJECTSBWHEREB.OBJECT_ID=A.OBJECT_ID;执行sqlselect*fromv$sessiont1,v$lock…

    2022年8月23日
    7
  • Unity零基础到入门 ☀️| Unity从青铜 到 王者!只差这篇让你学会Unity中最重要的部分——脚本组件✨

    Unity零基础到入门 ☀️| Unity从青铜 到 王者!只差这篇让你学会Unity中最重要的部分——脚本组件✨从倔强青铜到荣耀王者!只差这篇让你学会Unity中最重要的部分——脚本组件✨。本篇内容对Unity脚本做了一个超级详细的介绍,从开发工具到具体实例,API等都有介绍。

    2022年4月30日
    44
  • information_schema.schemata_information theory

    information_schema.schemata_information theory1.INFORMATION_SCHEMA简介INFORMATION_SCHEMA提供对数据库元数据的访问,有关MySQL服务器信息,例如数据库或表的名称,列的数据类型或访问权限。INFORMATION_SCHEMA使用说明字符集注意事项INFORMATION_SCHEMA作为SHOW语句的替代INFORMATION_SCHEMA和特权性能注意事项1.1INFOR…

    2022年9月14日
    3
  • ubuntu16.04下安装QQ教程「建议收藏」

    最近换工作,公司完全用的是Linux系统,目前不习惯,感觉别扭;后面熟悉就好了,由于工作需要,要安装QQ;有两个办法:1.在ubuntu下安装virtualbox虚拟机,然后再用win系统,再安装QQ;2.在ubuntu下安装winQQ;由于我安装virtualbox虚拟机,出现虚拟机打不开的情况,能力问题,暂还未解决,就用了第二种方法;在网上找到安装教程如下:参考网址:ht…

    2022年4月11日
    42
  • python 列表转字符串_python怎么把列表转化为字符串「建议收藏」

    python 列表转字符串_python怎么把列表转化为字符串「建议收藏」python列表中的使用str将所有值转换为字符串,以及使用join方法将列表拼接成一个字符串。Pythonjoin()方法用于将序列中的元素以指定的字符连接生成一个新的字符串。(推荐学习:Python视频教程)语法join()方法语法:str.join(sequence)参数sequence–要连接的元素序列。返回值返回通过指定字符连接序列中元素后生成的新字符串。实例>>>ls1=…

    2022年6月4日
    59

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号