storm单机版部署

storm单机版部署

storm可以看做是跟hadoop平行的产品,部署storm并不依赖于hadoop
而之前部署的hbase、hive、spark等都或多或少的依赖hadoop
这里简单记录一下storm的部署过程
需要下载包:

zeromq:http://download.zeromq.org/
jzmq:http://mvnrepository.com/artifact/org.zeromq/jzmq
storm:http://storm.apache.org/downloads.html
zookeeper:http://zookeeper.apache.org/releases.html#download

然后现部署zeromq, 再部署jzmq
下载的都是源码,部署的时候直接./configure && make && make install即可

部署好之后还需要部署zookeeper
这里要下载好二进制文件

解压zookeeper,然后修改conf文件中的zoo.cfg
tickTime=2000
dataDir=/var/zookeeper/
clientPort=2181
由于是单机版的,就只添加了这几个参数,其中目录需要自己先创建
 
启动zookeeper: bin/zkServer.sh start
测试: bin/zkCli.sh -server 127.0.0.1:2181

最后安装storm:

首先把storm解压
然后主要是把配置文件写好,这里需要注意的就是storm的配置文件是yaml格式,所以语法一定要注意
主要配置以下几项:
storm.zookeeper.servers:
  -"2.2.2.2"  #配置zookeeper server

nimbus.host: "2.2.2.2" #相当于master服务地址

storm.local.dir: "/home/stormdata" #存储目录
ui.port: 18080  #ui的启动端口
supervisor.slots.ports: # supervisor相当于hadoop的datanode, 配置几个端口就会启动几个进程运行任务
  -6700
  -6701
  -6702
  -6703
storm.zookeeper.port: 4190  # 如果zookeeper使用的不是默认端口的话,就在这里配置

都配置好之后,就可以启动测试了,一般yaml配置文件写正确的话就没什么问题

storm nimbus 
storm supervisor
storm ui
启动后可查看页面看是否启动成功:http://2.2.2.2:18080

后面再写一下storm的一些测试例子

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/109197.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • ioctl+FIONREAD判断文件可读

    ioctl+FIONREAD判断文件可读linux下判断一个文件描述符是否可读可用ioctl,参数FIONREAD,包含头文件unistd.hwindows下有个类似的ioctlsocket,实现了ioctl的部分功能,也可以实现同样的功能。https://blog.csdn.net/tgdzsjh/article/details/17142949https://blog.csdn.net/wy_kath/article/d…

    2022年7月23日
    19
  • freemarker自己定义标签(二)

    freemarker自己定义标签(二)

    2022年1月21日
    36
  • CPU 流水线的前世今生[通俗易懂]

    CPU 流水线的前世今生[通俗易懂]title:CPU流水线的前世今生date:2021-11-2121:56:40author:gatiemetags:-linux-architecture-intelcategories:-技术积累thumbnail:blogexcerpt:CPU流水线的探秘之旅本作品采用知识共享署名-非商业性使用-相同方式共享4.0国际许可协议进行许可,转载请注明出处,谢谢合作因本人技术水平和知识面有限,内容如有纰漏或者需要修正的地方,欢迎大家指正,鄙.

    2022年8月20日
    6
  • 拆解滴滴大脑 叶杰平谈出行领域算法技术

    拆解滴滴大脑 叶杰平谈出行领域算法技术近日,滴滴研究院副院长叶杰平在上海一场内部分享会上详细解读了滴滴大脑,这是外部首次窥探到较为完整的滴滴算法世界,并且一直潜水的产品“九霄”也首次露出真容。滴滴出行研究院副院长叶杰平滴滴大脑由三部分组成叶杰平将滴滴大脑这个智能系统分为三部分,分别是大数据、机器学习和云计算。其中大数据就像工业革命时代的煤一样举足轻重,人工智能需要数据进行训练,纵观应用级深度学习的成功案例,他们都获得了海量数据,…

    2022年5月5日
    68
  • 使用百度地图——入门

    使用百度地图——入门

    2022年1月17日
    42
  • 集合框架二:List

    集合框架二:List

    2021年5月24日
    145

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号