hadoopfs命令详解_hadoophdfs命令上传

hadoopfs命令详解_hadoophdfs命令上传格式:hadoopfs-命令主要有如下的命令:命令说明hadoopfs-mkdir创建HDFS目录hadoopfs-ls列出HDFS目录hadoopfs-copyFromLocal使用-copyFromLocal复制本地文件(local)到HDFShadoopfs-put使用-put复制本地(local)文件到HDFShadoopfs-copyToLocal将HDFS上的文件复制到本地(local)hadoopfs-get将HDFS上的文件复制到本地

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

格式:hadoop fs -命令

主要有如下的命令:

命令

说明

hadoop fs -mkdir

创建HDFS目录

hadoop fs -ls

列出HDFS目录

hadoop fs -copyFromLocal

使用-copyFromLocal复制本地文件(local)到HDFS

hadoop fs -put

使用-put复制本地(local)文件到HDFS

hadoop fs -copyToLocal

将HDFS上的文件复制到本地(local)

hadoop fs -get

将HDFS上的文件复制到本地(local)

hadoop fs -cp

复制HDFS文件

hadoop fs -rm

删除HDFS文件

hadoop fs -cat

列出HDFS目录下的文件的内容

【一、创建与查看HDFS目录】

1、创建HDFS目录:
hadoopfs命令详解_hadoophdfs命令上传

2、查看之前创建的HDFS目录

hadoopfs命令详解_hadoophdfs命令上传

注意:因为登录的用户为hduser,所以会显示/user/hduser下的目录。

3、查看HDFS完整目录

因为hadoop fs -ls只能查看一级目录,所以必须逐级查看:

hadoopfs命令详解_hadoophdfs命令上传

4、查看所有的HDFS子目录

HDFS提供了一个方便的选项 -R 可以递归查看目录

hadoopfs命令详解_hadoophdfs命令上传

5、一次性创建所有HDFS子目录

逐级创建很麻烦,但是可以添加参数-p,来一次性创建多级目录:

hadoopfs命令详解_hadoophdfs命令上传

【二、从本地计算机复制文件到HDFS】

1、复制本地文件到HDFS:

hadoopfs命令详解_hadoophdfs命令上传

2、列出文件内容:

hadoopfs命令详解_hadoophdfs命令上传

可以使用:hadoop fs -cat /user/hduser/test/test1.txt | more 进行分页显示

3、如果复制到HDFS的文件已经存在,会报错,此时可以使用-f 参数,强制复制重复文件到HDFS目录:

hadoopfs命令详解_hadoophdfs命令上传

4、从本地复制多个文件到HDFS,中间用空格分割即可。

5、从本地复制整个目录到HDFS:

hadoopfs命令详解_hadoophdfs命令上传

6、列出HDFS目录下的所有文件(包括这个目录下子目录的文件)

hadoopfs命令详解_hadoophdfs命令上传

7、使用put复制文件到HDFS,这个参数与copyFromLocal的不同之处在于:

-put更宽松,可以把本地或者HDFS上的文件拷贝到HDFS中;而-copyFromLocal则更严格限制只能拷贝本地文件到HDFS中。如果本地和HDFS上都存在相同路径,则-put跟趋于优先取HDFS的源。(不用太深究两者区别,更多用-put)

hadoopfs命令详解_hadoophdfs命令上传

【三、从HDFS上复制文件到本地】

1、参数 -copyToLocal

hadoopfs命令详解_hadoophdfs命令上传

2、同样的也可以用参数-get完成上述操作:

hadoopfs命令详解_hadoophdfs命令上传

【四、复制与删除HDFS文件】

1、使用-cp参数,在HDFS上进行复制文件

hadoopfs命令详解_hadoophdfs命令上传

2、使用-rm参数,删除HDFS上的文件;添加-R参数,删除目录:

hadoopfs命令详解_hadoophdfs命令上传

hadoopfs命令详解_hadoophdfs命令上传

在http://master:50070上可以浏览和操作HDFS的目录和文件

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/186070.html原文链接:https://javaforall.net

(0)
上一篇 2022年10月4日 下午12:36
下一篇 2022年10月4日 下午12:36


相关推荐

  • drawcall优化_unity降低drawcall

    drawcall优化_unity降低drawcallunity3D对于移动平台的支持无可厚非,但是也有时候用Unity3D开发出来的应用、游戏在移动终端上的运行有着明显的效率问题,比如卡、画质等各种问题。自己在做游戏开发的时候偶有所得。对于主要影响性能的因素做个总结。主要因素有:       1.     Savedbybatching值过大  —->这个值主要是针对Mesh的批处理,这个值越高,应用就越卡

    2025年11月19日
    7
  • 向量的点乘与叉乘的几何意义

    向量的点乘与叉乘的几何意义向量的点乘与叉乘的几何意义 很惭愧 作为一名学生 向量的最基本的知识全忘了 在最近做计算机图形学实验时 需要用到向量计算时 发现自己寸步难行 只好赶快百度 预习 一下 向量的点乘 a b 公式 a b a b cos 点乘又叫向量的内积 数量积 是一个向量和它在另一个向量上的投影的长度的乘积 是标量 点乘反映着两个向量的 相似度 两个向量越 相似 它们的点乘越

    2026年3月20日
    2
  • mac idea 2021激活码【2021免费激活】

    (mac idea 2021激活码)好多小伙伴总是说激活码老是失效,太麻烦,关注/收藏全栈君太难教程,2021永久激活的方法等着你。IntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,下面是详细链接哦~https://javaforall.net/100143.htmlS32PGH0SQB-eyJsaWNlbnNlSWQi…

    2022年3月26日
    52
  • 对于梯度消失和梯度爆炸的理解

    对于梯度消失和梯度爆炸的理解

    2021年11月20日
    62
  • pyspark rdd连接函数之join、leftOuterJoin、rightOuterJoin和fullOuterJoin、union函数介绍

    pyspark rdd连接函数之join、leftOuterJoin、rightOuterJoin和fullOuterJoin、union函数介绍各种 JOIN 在 SparkCore 中的使用一 innerjoininn 只返回左右都匹配上的 gt gt gt data2 sc parallelize range 6 15 map lambdaline line 1 gt gt gt data2 collect 6 1 7 1 8 1 9 1

    2026年3月18日
    2
  • virt虚拟机_kvm创建虚拟机

    virt虚拟机_kvm创建虚拟机1.查看cpu是否支持虚拟化和Xen不同,KVM需要有CPU的支持(IntelVT或AMDSVM),在安装KVM之前检查一下CPU是否提供了虚拟技术的支持2.安装工具包3.查看kvm是否安装成功4.关闭防火墙5.修改qemu.conf配置,把下面几个地方的注释去掉,然后把dynamic_ownership的值改成0,禁止libvirtd动态修改文件的…

    2022年8月12日
    8

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号