Hadoop 中xsync集群分发脚本

Hadoop 中xsync集群分发脚本大数据集群中使用xsync脚本分发文件到集群中的所有机器

大家好,又见面了,我是你们的朋友全栈君。

1.配置免密登录

2.rsync 远程同步工具

rsync主要用于备份和镜像,具有速度快、避免复制相同内容和支持符号链接的优点,rsync只对差异文件做更新。但是scp是将所有内容都发送过去。

使用方法:

rsync    -av   $parentdir/$filename   $user@hadoop102$host:$parentdir/$filename
命令   选项参数   要拷贝的文件路径/名称     目的用户@主机:目的路径/名称

-a  归档拷贝
-v	显示复制过程

3.配置xsync集群分发脚本

在usr/local/bin目录下面创建文件xsync文件,或者在/home/用户/bin下面创建xsync文件,内容是:

#! /bin/bash
#1 获取输入参数个数,如果没有参数,直接退出
pcount=$#
if [ $pcount -lt 1 ]
then
    echo No Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================    $host    ====================
    #3. 递归遍历所有目录
    for file in $@
    do
        #4 判断文件是否存在
        if [ -e $file ]
        then
            #5. 获取全路径
            pdir=$(cd -P $(dirname $file); pwd)
            echo pdir=$pdir
            
            #6. 获取当前文件的名称
            fname=$(basename $file)
            echo fname=$fname
            
            #7. 通过ssh执行命令:在$host主机上递归创建文件夹(如果存在该文件夹)
            ssh $host "source /etc/profile;mkdir -p $pdir"
            
			#8. 远程同步文件至$host主机的$USER用户的$pdir文件夹下
            rsync -av $pdir/$fname $USER@$host:$pdir
        else
            echo $file Does Not Exists!
        fi
    done
done

修改脚本的执行权限 chmod 777 xsync

脚本的使用形式:xsync /opt/temp 可以分发/opt/temp文件夹到集群中所有的目录。


zk的启动脚本:

#! /bin/bash
for host in hadoop102 hadoop103 hadoop104
do
	ssh $host "source /etc/profile;nohup zKserver.sh start > /dev/null 2>&1 &"
	echo"************ $host Zookeeper is Starting ************"
done

kafka启动脚本:

#! /bin/bash
for host in hadoop102 hadoop103 hadoop104
do
	ssh $host "source /etc/profile;nohup kafka-server-start.sh start /opt/kafka_2.11-1.0.0/config/server.properties > /dev/null 2>&1 &"
	echo"==========$host Kafka is Starting"
done

xcall.sh

#! /bin/bash

for i in hadoop102 hadoop103 hadoop104
do
        echo --------- $i ----------
        ssh $i "source /etc/profile; $*"
done

$* 为获取传递进来的变量
$@ 为获去传递进来变量的个数

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/142064.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • Activiti工作流使用之项目实例

    Activiti工作流使用之项目实例Activiti工作流使用之项目实例文章目录Activiti工作流使用之项目实例一、配置文件1.1pom依赖引入1.2application.properties文件二、BPMN文件三、控制层Controller四、实现类Service4.1流程启动(不进入下一环节)4.2流程启动(直接进入下一环节)4.3审批任务4.4查询我发起的流程4.5流程下任务详情4.6删除流程4.7我待审核的任务五、监听器六、流程示意一、配置文件1.1pom依赖引入<dependency>

    2022年10月5日
    4
  • 机器人SLAM算法漫谈

    机器人SLAM算法漫谈本文转载微信公众号 “智能算法”完整的干货,拿来大家分享!http://mp.weixin.qq.com/s/pBpTH0B5AKRGMZ_8rrO4zg1.前言  开始做SLAM(SimultaneousLocalizationandMapping,机器人同时定位与建图)研究已经近一年了。从一年级开始对这个方向产生兴趣,到现在为止,也算是对这个领域有了大致的了

    2022年6月24日
    30
  • php curl_init undefined,php运行出现Call to undefined function curl_init()的解决方法

    php curl_init undefined,php运行出现Call to undefined function curl_init()的解决方法在装好PHP后,执行类似$ch=curl_init();这样的语句,出现Calltoundefinedfunctioncurl_init()的错误提示。解决方法如下:1、在php.ini中找到extension=php_curl.dll,去掉前面的,php.ini一般在c:\windows下面。2、在php.ini中找到extension_dir=“ext”,去掉前面的;,改为ex…

    2022年7月13日
    13
  • 4k纸是几厘米乘几厘米_4k素描纸是多大? 是几乘几的?

    4k纸是几厘米乘几厘米_4k素描纸是多大? 是几乘几的?展开全部4K的尺寸:35cm*38cm目前有“国际大度”和“国际正度”的两种标准。国际大度四开纸的长宽为:58×62616964757a686964616fe58685e5aeb93133336566613743cm;国际正度四开纸的长宽为:53×37.5cm。通常使用国际大度标准为多,整数计算长:53cm,宽:38cm。素描约4K,8K,32K这些是指对应的纸张的大小。4K的尺寸:35cm*38…

    2022年6月20日
    88
  • 中标麒麟高级服务器操作系统V6

    中标麒麟高级服务器操作系统V6本镜像有两个月的免费试用期!免费试用期结束后,如果您希望购买正式版。请与我们联系。(400-706-1825)中标麒麟高级服务器操作系统镜像不仅为用户提供了中文化的系统环境和图形化的管理工具,同

    2022年7月2日
    29
  • C++ 指针的两种操作,通过指针赋值 & 对指针赋值「建议收藏」

    C++ 指针的两种操作,通过指针赋值 & 对指针赋值「建议收藏」//打印函数templatevoiddisp(Ti){cout<

    2022年7月11日
    19

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号