Hadoop 中xsync集群分发脚本

Hadoop 中xsync集群分发脚本大数据集群中使用xsync脚本分发文件到集群中的所有机器

大家好,又见面了,我是你们的朋友全栈君。

1.配置免密登录

2.rsync 远程同步工具

rsync主要用于备份和镜像,具有速度快、避免复制相同内容和支持符号链接的优点,rsync只对差异文件做更新。但是scp是将所有内容都发送过去。

使用方法:

rsync    -av   $parentdir/$filename   $user@hadoop102$host:$parentdir/$filename
命令   选项参数   要拷贝的文件路径/名称     目的用户@主机:目的路径/名称

-a  归档拷贝
-v	显示复制过程

3.配置xsync集群分发脚本

在usr/local/bin目录下面创建文件xsync文件,或者在/home/用户/bin下面创建xsync文件,内容是:

#! /bin/bash
#1 获取输入参数个数,如果没有参数,直接退出
pcount=$#
if [ $pcount -lt 1 ]
then
    echo No Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================    $host    ====================
    #3. 递归遍历所有目录
    for file in $@
    do
        #4 判断文件是否存在
        if [ -e $file ]
        then
            #5. 获取全路径
            pdir=$(cd -P $(dirname $file); pwd)
            echo pdir=$pdir
            
            #6. 获取当前文件的名称
            fname=$(basename $file)
            echo fname=$fname
            
            #7. 通过ssh执行命令:在$host主机上递归创建文件夹(如果存在该文件夹)
            ssh $host "source /etc/profile;mkdir -p $pdir"
            
			#8. 远程同步文件至$host主机的$USER用户的$pdir文件夹下
            rsync -av $pdir/$fname $USER@$host:$pdir
        else
            echo $file Does Not Exists!
        fi
    done
done

修改脚本的执行权限 chmod 777 xsync

脚本的使用形式:xsync /opt/temp 可以分发/opt/temp文件夹到集群中所有的目录。


zk的启动脚本:

#! /bin/bash
for host in hadoop102 hadoop103 hadoop104
do
	ssh $host "source /etc/profile;nohup zKserver.sh start > /dev/null 2>&1 &"
	echo"************ $host Zookeeper is Starting ************"
done

kafka启动脚本:

#! /bin/bash
for host in hadoop102 hadoop103 hadoop104
do
	ssh $host "source /etc/profile;nohup kafka-server-start.sh start /opt/kafka_2.11-1.0.0/config/server.properties > /dev/null 2>&1 &"
	echo"==========$host Kafka is Starting"
done

xcall.sh

#! /bin/bash

for i in hadoop102 hadoop103 hadoop104
do
        echo --------- $i ----------
        ssh $i "source /etc/profile; $*"
done

$* 为获取传递进来的变量
$@ 为获去传递进来变量的个数

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/142064.html原文链接:https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • global south 有哪些国家_global ethics

    global south 有哪些国家_global ethicsThedifferenceofkeywordsofglobalandnonlocalistheplacewheretheyareuses.Forexample,nonlocolisusedwithinthefunctionforstatingavariablewhichcanbeusedoutsidethefunctionInthesamemeaning,globalisusedoutsidethefunctionfo

    2022年9月4日
  • 什么是Deeplink?以及Deeplink的原理

    什么是Deeplink?以及Deeplink的原理先说一个日常场景帮大家理解。最近双十一、双十二,不知道大家有没有被亲友们发的某宝、某东、或拼夕夕的各类信息轮番轰炸?小编的亲友群、闺蜜群里常年有这类链接挂着,小红薯的笔记分享,某宝的化妆品、衣服链接分享等等,这一个个的分享链接织成一张张网,真可谓是增加亲友亲密度,快速获取优质好物的利器。这背后有个特别容易忽视却又极其重要的知识点。比如你在社交媒体上分享给翠花一个某App上的精选好店,翠花想要查看有几种操作方式:l如果翠花已经安装了该App,那她只要点开链接就可以跳转到App;l如果…

    2022年6月16日
  • Commit message 和 Change log 编写指南

    Commit message 和 Change log 编写指南

    2021年9月12日
  • 好用的mac录屏软件推荐:白菜录屏mac中文免费版[通俗易懂]

    好用的mac录屏软件推荐:白菜录屏mac中文免费版[通俗易懂]为大家推荐一款好用的mac录屏软件,白菜录屏forMac提供了全屏录制、区域录屏、麦克风录音、后期视频编辑、多格式视频导出、系统声音录制等功能,操作起来十分便捷,而且还是中文免费版,还在找mac录屏软件的朋友可以试试白菜录屏mac版哦!白菜录屏forMac官方介绍白菜录屏是一款小巧却功能强大的mac录屏软件。白菜录屏适用于制作教学视频的博主、录制网课的学生党、记录网络会议或演示的商务人士。白菜录屏formac主要功能全屏录制,区域录屏,支持高帧率,显示摄像头,后期视

    2022年9月24日
  • linux抓包怎么查看数据包_shell curl获取返回数据

    linux抓包怎么查看数据包_shell curl获取返回数据(1)想要截获所有210.27.48.1的主机收到的和发出的所有的分组:#tcpdumphost210.27.48.1(2)想要截获主机210.27.48.1和主机210.27.48.2或210.27.48.3的通信,使用命令(注意:括号前的反斜杠是必须的):#tcpdumphost210.27.48.1and(210.27.48.2or210.27.48.3)(3)如…

    2022年10月14日
  • 关于MIPI协议(一)——物理层D-PHY总结

    关于MIPI协议(一)——物理层D-PHY总结关于移动端mipi协议的一些总结

    2022年5月30日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号