storm单机版部署

storm单机版部署

storm可以看做是跟hadoop平行的产品,部署storm并不依赖于hadoop
而之前部署的hbase、hive、spark等都或多或少的依赖hadoop
这里简单记录一下storm的部署过程
需要下载包:

zeromq:http://download.zeromq.org/
jzmq:http://mvnrepository.com/artifact/org.zeromq/jzmq
storm:http://storm.apache.org/downloads.html
zookeeper:http://zookeeper.apache.org/releases.html#download

然后现部署zeromq, 再部署jzmq
下载的都是源码,部署的时候直接./configure && make && make install即可

部署好之后还需要部署zookeeper
这里要下载好二进制文件

解压zookeeper,然后修改conf文件中的zoo.cfg
tickTime=2000
dataDir=/var/zookeeper/
clientPort=2181
由于是单机版的,就只添加了这几个参数,其中目录需要自己先创建
 
启动zookeeper: bin/zkServer.sh start
测试: bin/zkCli.sh -server 127.0.0.1:2181

最后安装storm:

首先把storm解压
然后主要是把配置文件写好,这里需要注意的就是storm的配置文件是yaml格式,所以语法一定要注意
主要配置以下几项:
storm.zookeeper.servers:
  -"2.2.2.2"  #配置zookeeper server

nimbus.host: "2.2.2.2" #相当于master服务地址

storm.local.dir: "/home/stormdata" #存储目录
ui.port: 18080  #ui的启动端口
supervisor.slots.ports: # supervisor相当于hadoop的datanode, 配置几个端口就会启动几个进程运行任务
  -6700
  -6701
  -6702
  -6703
storm.zookeeper.port: 4190  # 如果zookeeper使用的不是默认端口的话,就在这里配置

都配置好之后,就可以启动测试了,一般yaml配置文件写正确的话就没什么问题

storm nimbus 
storm supervisor
storm ui
启动后可查看页面看是否启动成功:http://2.2.2.2:18080

后面再写一下storm的一些测试例子

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/109197.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • Pycharm Pro 2021.12.13激活【2021.10最新】「建议收藏」

    (Pycharm Pro 2021.12.13激活)2021最新分享一个能用的的激活码出来,希望能帮到需要激活的朋友。目前这个是能用的,但是用的人多了之后也会失效,会不定时更新的,大家持续关注此网站~https://javaforall.net/100143.htmlIntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,上面是详细链接哦~00…

    2022年3月30日
    46
  • JVM 内存模型概述

    JVM 内存模型概述Java虚拟机在执行Java程序的过程中会把它所管理的内存划分为若干个不同的数据区域,这些数据区域都有各自的用途,以及创建和销毁的时间,并且它们可以分为两种类型:线程共享的方法区和堆,线程私有的虚拟机栈、本地方法栈和程序计数器。在此基础上,我们探讨了在虚拟机中对象的创建和对象的访问定位等问题,并分析了Java虚拟机规范中异常产生的情况。

    2022年6月12日
    30
  • ThinkPHP 小于5.0.24 远程代码执行高危漏洞 修复方案

    ThinkPHP 小于5.0.24 远程代码执行高危漏洞 修复方案

    2021年11月6日
    40
  • python-louvain_louvin算法

    python-louvain_louvin算法本发明涉及数据挖掘技术领域,尤其涉及一种基于Louvain算法的社区发现方法及一种基于Louvain算法的社区发现系统背景技术:随着信息化技术的发展,信息系统中保存着大量用户的信息特征,用户与用户之间也存在着某种关联性。用户的特征具有多维度,且多关联性。社区发现能帮助人们更有效地了解网络的结构特征,从而提供更有效、更具个性化的服务。当前,许多研究通过分析网络的结构来发现社区。其中,Blondel等…

    2022年10月30日
    0
  • 1、java语言概述

    1、java语言概述文章目录Java基础知识图解软件开发软件开发人机交互方式命令行常用的DOS命令常用快捷键java语言java版本历史迭代Java技术体系平台Java在各领域的应用Java语言运行机制及运行过程Java语言的特点跨平台性Java两种核心机制核心机制—Java虚拟机核心机制—垃圾回收Java语言的环境搭建什么是JDK,JRE下载并安装JDK配置环境变量开发HelloWorld开发HelloWorld注意:注释(Comment)文档注释Java基础知识图解软件开发软件开发软件,即一系列按照特定顺序组织的

    2022年7月7日
    23
  • C语言中负数除法与右移取整问题

    C语言中负数除法与右移取整问题

    2021年9月27日
    98

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号