storm单机版部署

storm单机版部署

storm可以看做是跟hadoop平行的产品,部署storm并不依赖于hadoop
而之前部署的hbase、hive、spark等都或多或少的依赖hadoop
这里简单记录一下storm的部署过程
需要下载包:

zeromq:http://download.zeromq.org/
jzmq:http://mvnrepository.com/artifact/org.zeromq/jzmq
storm:http://storm.apache.org/downloads.html
zookeeper:http://zookeeper.apache.org/releases.html#download

然后现部署zeromq, 再部署jzmq
下载的都是源码,部署的时候直接./configure && make && make install即可

部署好之后还需要部署zookeeper
这里要下载好二进制文件

解压zookeeper,然后修改conf文件中的zoo.cfg
tickTime=2000
dataDir=/var/zookeeper/
clientPort=2181
由于是单机版的,就只添加了这几个参数,其中目录需要自己先创建
 
启动zookeeper: bin/zkServer.sh start
测试: bin/zkCli.sh -server 127.0.0.1:2181

最后安装storm:

首先把storm解压
然后主要是把配置文件写好,这里需要注意的就是storm的配置文件是yaml格式,所以语法一定要注意
主要配置以下几项:
storm.zookeeper.servers:
  -"2.2.2.2"  #配置zookeeper server

nimbus.host: "2.2.2.2" #相当于master服务地址

storm.local.dir: "/home/stormdata" #存储目录
ui.port: 18080  #ui的启动端口
supervisor.slots.ports: # supervisor相当于hadoop的datanode, 配置几个端口就会启动几个进程运行任务
  -6700
  -6701
  -6702
  -6703
storm.zookeeper.port: 4190  # 如果zookeeper使用的不是默认端口的话,就在这里配置

都配置好之后,就可以启动测试了,一般yaml配置文件写正确的话就没什么问题

storm nimbus 
storm supervisor
storm ui
启动后可查看页面看是否启动成功:http://2.2.2.2:18080

后面再写一下storm的一些测试例子

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/109197.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • Java解析XML文件

    Java解析XML文件1.DOM方式解析XMLDom解析是将xml文件全部载入到内存,组装成一颗dom树,然后通过节点以及节点之间的关系来解析xml文件,与平台无关,java提供的一种基础的解析XML文件的API,理解较简单,但是由于整个文档都需要载入内存,不适用于文档较大时。2.SAX方式解析XML基于事件驱动,逐条解析,适用于只处理xml数据,不易编码,而且很难同时访问同一个文档中的多处不同数据3.JDOM方式解

    2022年5月4日
    37
  • 决策树分析例题经典案例_决策树例题分析及解答

    决策树分析例题经典案例_决策树例题分析及解答决策树例题分析及解答 1 例 某农业企业有耕地面积 33 333 公顷 可供灌水量 6300 立方米 在生产忙季可供工作日 2800 个 用于种植玉米 棉花和花生三种作物 预计三种作物每公顷在用水忙季用工日数 灌水量和利润见表 在完成 16 5 万公斤玉米生产任务的前提下 如何安排三种作物的种植面积 以获得最大的利润 2 解 玉米 棉花 花生和种植面积分别为 X1 X2 X3 公顷 依题意列出线性规划模型 目标

    2025年7月2日
    4
  • jmeter安装教程

    jmeter安装教程基于windows,jmeter4.0版本。1.下载安装包地址:http://jmeter.apache.org/download_jmeter.cgi2.解压,配置环境2.1新增系统变量JMETER_HOME变量值:E:\developer\apache-jmeter-4.0注意,根据自己的路径配置,到这一级就好了。2.2配置classpath在…

    2022年5月3日
    37
  • mbus总线是什么意思_Can总线如何配置500k波特率

    mbus总线是什么意思_Can总线如何配置500k波特率MBus总线上自动波特率识别1、通过前导字节0x68,捕获引脚通过1、0比特的两个上升沿的差值除以2来自动识别出波特率。2、为什么是通过两个上升沿,而不是一个上升沿一个下降沿,比如两个比特11的长度除以2来计算?因为两条平行的MBUS总线间存在电容效应,在实验室里面由于线比较短,不容易测试出来,但在实际产品使用中是真实存在的,因此在实验室里面分别用10nf、47nf、23n…

    2022年10月8日
    2
  • TCP、UDP绑定同一端口通信的解释

    TCP、UDP绑定同一端口通信的解释昨日突然讨论起TCP与UDP是否可以在同一端口进行绑定,通信。在印象当中我记得是可以的,今日google了相关资料,确定以及肯定的:TCP、UDP可以绑定同一端口来进行通信:       网络中可以被命名和寻址的通信端口,是操作系统可分配的一种资源。       按照OSI七层协议的描述,传输层与网络层在功能上的最大区别是传输层提供进程通信能力。从这个意义上讲,网络通信的最…

    2022年6月13日
    44
  • pthread_t定义结构

    pthread_t定义结构

    2021年12月31日
    66

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号