1. 全栈程序员必看首页

Spark Standalone模式 高可用部署

全栈程序员-站长 • • 未分类 • 阅读 52

Spark Standalone模式 高可用部署

 

本文使用Spark的版本为：spark-2.4.0-bin-hadoop2.7.tgz。

spark的集群采用3台机器进行搭建，机器分别是server01，server02,server03。

其中：server01,server02设置为Master，server01,server02,server03为Worker。

1.Spark

下载地址：

http://spark.apache.org/downloads.html

选择对应的版本进行下载就好，我这里下载的版本是：spark-2.4.0-bin-hadoop2.7.tgz。

2.上传及解压

2.1 下载到本地后，上传到Linux的虚拟机上

scp spark-2.4.0-bin-hadoop2.7.tgz hadoop@server01:/hadoop

 

2.2 解压

tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz

2.3 重命名

mv spark-2.4.0-bin-hadoop2.7 spark

3.配置环境

进入spark/conf目录

3.1 复制配置文件

cp slaves.template slaves

cp spark-env.sh.template spark-env.sh

<span>Spark Standalone模式 高可用部署</span>

3.2 修改slaves配置文件

spark集群的worker conf配置 slaves

server01

server02

server03

 <span>Spark Standalone模式 高可用部署</span>

 

 

 

3.3 修改spark-env.sh配置文件

# java环境变量

export JAVA_HOME=/usr/local/java

#spark home

export SPARK_HOME=/export/opt/spark/spark2.4.0

# spark集群master进程主机host

export SPARK_MASTER_HOST=server01

# 配置zk 此处可以独立配置zk list,逗号分隔

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=xxx.xxx.xxx.xxx:2181, xxx.xxx.xxx.xxx:2181……"

 

如下图

 <span>Spark Standalone模式 高可用部署</span>

3.4 下发到server02和server03机器上

scp -r /hadoop/spark hadoop@server02:/hadoop

scp -r /hadoop/spark hadoop@server03:/hadoop

 

3.5 修改server02机器上的spark-env.sh的SPARK_MASTER_HOST参数信息

# 增加备用master主机,改为server02,将自己设置为master（备用）

export SPARK_MASTER_HOST=server02

<span>Spark Standalone模式 高可用部署</span>

3.6 配置环境变量

给server01,server02,server03机器上配置spark的环境变量

export SPARK_HOME=/export/opt/spark/spark2.4.0

export PATH=$PATH:${SPARK_HOME}/bin:${SPARK_HOME}/sbin

#使配置环境生效

source /etc/profile

 

4. 启动Spark集群

在server01机器上，进入spark目录

4.1 分别启动master和slaves进程

# 启动master进程

sbin/start-master.sh

# 启动3个worker进程，也可以每个机器独立启动需要输入两个master地址

sbin/start-slaves.sh

 

jps查看进程1有既有master又有Worker,2,3只有Worker

 <span>Spark Standalone模式 高可用部署</span>

4.2 直接使用start-all.sh启动

sbin/start-all.sh

<span>Spark Standalone模式 高可用部署</span>

4.3 手动启动server02机器上的master进程

进入spark目录

sbin/start-master.sh

我们可以使用stop-all.sh杀死spark的进程

sbin/stop-all.sh

web页面展示

在浏览器中输入

server01:8080

<span>Spark Standalone模式 高可用部署</span>

Status：ALIVE 说明master为主Master

server02:8080

 <span>Spark Standalone模式 高可用部署</span>

 总结

　　部署完成后可以尝试kill掉1的master，然后需要等几分钟后会重启备用master，此时备用切换为主。

　　另外如果application被杀掉或者jvm出现问题，还可以通过增加参数 –supervise（需要安装,pip install supervise）可以重新启动application。

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/119635.html原文链接：https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长
0 0


相关推荐

  • HTML空格标记_html换行标记

    HTML空格标记_html换行标记

    HTML空格标记_html换行标记HTML6种空格标记HTML提供了5种空格实体（spaceentity），它们拥有不同的宽度，非断行空格(&nbsp;)是常规空格的宽度，可运行于所有主流浏览器。其他几种空格(&ensp;&emsp;&thinsp;&zwnj;&zwj;）在不同浏览器中宽度各异。&nbsp;它叫不换行空格，全称No-BreakSpace，它是最常见和我们使用最多的空格，大多数的人可能只接触了&nbsp;，它是按下space键产生的空格。在HTM

    全栈程序员-站长的头像 全栈程序员-站长
    2022年9月27日
    0
  • 域名和服务器IP地址有什么关系[通俗易懂]

    域名和服务器IP地址有什么关系[通俗易懂]

    域名和服务器IP地址有什么关系?很多用户也经常听说或接触域名和服务器IP地址，一般用户访问网站是通过域名或搜索进入，但大多数人不知道的是直接再浏览器里面输入IP地址也可以直接访问网站，下面我们就详细聊聊域名和服务器IP地址之间的关系。域名和服务器IP地址之间的关系?对于很多初入互联网的用户来说，刚开始对于域名和IP地址的概念不清楚，经常会将服务器IP地址当作域名，甚至误以为域名就是服务器IP地址等等很多问题，那么域名和服务器IP地址的定义是怎么样的呢?又有怎样的关联呢?域名：域名是一串用各.

    全栈程序员-站长的头像 全栈程序员-站长
    2022年4月16日
    68
  • 数字图像处理的基本概念_数字图像处理有什么用

    数字图像处理的基本概念_数字图像处理有什么用

    数字图像处理的基本概念_数字图像处理有什么用数字图像基本概念与彩色图像,（可以用来应付期末考）

    全栈程序员-站长的头像 全栈程序员-站长
    2022年10月4日
    0
  • PyCharm激活码永久有效PyCharm2017.3.5激活码教程-持续更新，一步到位「建议收藏」 开发工具

    PyCharm激活码永久有效PyCharm2017.3.5激活码教程-持续更新，一步到位「建议收藏」

    PyCharm激活码永久有效PyCharm2017.3.5激活码教程-持续更新，一步到位「建议收藏」PyCharm激活码永久有效2017.3.5激活码教程-Windows版永久激活-持续更新,Idea激活码2017.3.5成功激活

    全栈程序员-站长的头像 全栈程序员-站长
    2022年6月19日
    24
  • jdk提供的线程池_创建线程的三种方法

    jdk提供的线程池_创建线程的三种方法

    jdk提供的线程池_创建线程的三种方法JDK1.8创建线程池有哪几种方式？newFixedThreadPool定长线程池，每当提交一个任务就创建一个线程，直到达到线程池的最大数量，这时线程数量不再变化，当线程发生错误结束时，线程池会补充一个新的线程测试代码：publicclassTestThreadPool{ //定长线程池，每当提交一个任务就创建一个线程，直到达到线程池的最大数量，这时线程数量不再变化…

    全栈程序员-站长的头像 全栈程序员-站长
    2022年10月1日
    0
  • 漏洞扫描工具汇总「建议收藏」

    漏洞扫描工具汇总「建议收藏」

    漏洞扫描工具汇总「建议收藏」漏洞扫描器可以快速帮助我们发现漏洞，如SQL注入漏洞、CSRF、缓冲区溢出等。下面就介绍几种常用的漏洞扫描工具。Fortify代码审计工具FortifySCA(FortifyStaticCodeAnalyzer)，一款软件代码安全测试工具，提供静态源码扫描能力，包含了五大引擎分析系统：语义、结构、数据流、控制流、配置流。分析的过程中与特有的软件安全漏洞规则集进行全面的匹配、查找，从而将源代码中存在的安全漏洞扫描出来，并生成报告。BurpSuiteAWVSAppScanDependen

    全栈程序员-站长的头像 全栈程序员-站长
    2022年9月13日
    0

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号