storm单机版部署

storm单机版部署

storm可以看做是跟hadoop平行的产品,部署storm并不依赖于hadoop
而之前部署的hbase、hive、spark等都或多或少的依赖hadoop
这里简单记录一下storm的部署过程
需要下载包:

zeromq:http://download.zeromq.org/
jzmq:http://mvnrepository.com/artifact/org.zeromq/jzmq
storm:http://storm.apache.org/downloads.html
zookeeper:http://zookeeper.apache.org/releases.html#download

然后现部署zeromq, 再部署jzmq
下载的都是源码,部署的时候直接./configure && make && make install即可

部署好之后还需要部署zookeeper
这里要下载好二进制文件

解压zookeeper,然后修改conf文件中的zoo.cfg
tickTime=2000
dataDir=/var/zookeeper/
clientPort=2181
由于是单机版的,就只添加了这几个参数,其中目录需要自己先创建
 
启动zookeeper: bin/zkServer.sh start
测试: bin/zkCli.sh -server 127.0.0.1:2181

最后安装storm:

首先把storm解压
然后主要是把配置文件写好,这里需要注意的就是storm的配置文件是yaml格式,所以语法一定要注意
主要配置以下几项:
storm.zookeeper.servers:
  -"2.2.2.2"  #配置zookeeper server

nimbus.host: "2.2.2.2" #相当于master服务地址

storm.local.dir: "/home/stormdata" #存储目录
ui.port: 18080  #ui的启动端口
supervisor.slots.ports: # supervisor相当于hadoop的datanode, 配置几个端口就会启动几个进程运行任务
  -6700
  -6701
  -6702
  -6703
storm.zookeeper.port: 4190  # 如果zookeeper使用的不是默认端口的话,就在这里配置

都配置好之后,就可以启动测试了,一般yaml配置文件写正确的话就没什么问题

storm nimbus 
storm supervisor
storm ui
启动后可查看页面看是否启动成功:http://2.2.2.2:18080

后面再写一下storm的一些测试例子

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/109197.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 部署环境什么意思_离线部署net

    部署环境什么意思_离线部署netNeokylin-Server离线环境部署Minio+keepalived集群Neokylin-Server离线环境部署Minio+keepalived集群一、说明二、部署过程:1.切换root账号或所有语句加sudo;2.关闭6个节点防火墙(或打开端口);3.设置所有节点;4.时间同步;5.3个节点创建目录与文件;6.添加权限;7.启动minio服务;8.n1-n3部署keepalived;Neokylin-Server离线环境部署Minio+keepalived集群一、说明背景:N

    2022年8月10日
    6
  • egg yolk_人类蛋白数据库

    egg yolk_人类蛋白数据库欢迎关注”生信修炼手册”!直系同源蛋白的预测在系统发育,比较基因组学等多个领域都占用重要地位,COG数据库开创了同源蛋白数据库的先河,后续又不断有新的数据库涌现,而eggNOG就是目前使…

    2025年6月30日
    3
  • Python自动化面试题(自动化测试面试基础问题)

    Python自动化测试面试题目汇总1、super是干嘛用的?在Python2和Python3使用,有什么区别?为什么要使用super?请举例说明。答:super用于继承父类的方法、属性。 super是新式类中才有的,所以Python2中使用时,要在类名的参数中写Object。Python3默认是新式类,不用写,直接可用。 使用super可以提高代码的复用性、可维护性。修改代码时,只需修改一处。 代码举例:classbaseClass:def.

    2022年4月12日
    71
  • 《第三方JavaScript编程》——7.3 跨站请求伪造[通俗易懂]

    《第三方JavaScript编程》——7.3 跨站请求伪造

    2022年3月3日
    41
  • C++旅游管理系统

    C++旅游管理系统C++旅游管理系统https://download.csdn.net/download/fuck11111/3364686

    2022年6月9日
    38
  • SVR回归_时间序列分析优缺点

    SVR回归_时间序列分析优缺点文章目录1.SVR时间序列预测2.SVR调参3.SVR高斯核与过拟合1.SVR时间序列预测SVR可用于时间序列分析,但不是较好的选择。现在一般采用LSTM神经网络来处理时间序列数据#SVR预测#也可用于时间序列分析(ARIMA也可用于时间序列分析)importnumpyasnpfromsklearnimportsvmimportmatplotlib.pyplotaspltif__name__==”__main__”:#构造数据N=50

    2025年7月29日
    1

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号