hadoopfs命令详解_hadoophdfs命令上传

hadoopfs命令详解_hadoophdfs命令上传格式:hadoopfs-命令主要有如下的命令:命令说明hadoopfs-mkdir创建HDFS目录hadoopfs-ls列出HDFS目录hadoopfs-copyFromLocal使用-copyFromLocal复制本地文件(local)到HDFShadoopfs-put使用-put复制本地(local)文件到HDFShadoopfs-copyToLocal将HDFS上的文件复制到本地(local)hadoopfs-get将HDFS上的文件复制到本地

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

格式:hadoop fs -命令

主要有如下的命令:

命令

说明

hadoop fs -mkdir

创建HDFS目录

hadoop fs -ls

列出HDFS目录

hadoop fs -copyFromLocal

使用-copyFromLocal复制本地文件(local)到HDFS

hadoop fs -put

使用-put复制本地(local)文件到HDFS

hadoop fs -copyToLocal

将HDFS上的文件复制到本地(local)

hadoop fs -get

将HDFS上的文件复制到本地(local)

hadoop fs -cp

复制HDFS文件

hadoop fs -rm

删除HDFS文件

hadoop fs -cat

列出HDFS目录下的文件的内容

【一、创建与查看HDFS目录】

1、创建HDFS目录:
hadoopfs命令详解_hadoophdfs命令上传

2、查看之前创建的HDFS目录

hadoopfs命令详解_hadoophdfs命令上传

注意:因为登录的用户为hduser,所以会显示/user/hduser下的目录。

3、查看HDFS完整目录

因为hadoop fs -ls只能查看一级目录,所以必须逐级查看:

hadoopfs命令详解_hadoophdfs命令上传

4、查看所有的HDFS子目录

HDFS提供了一个方便的选项 -R 可以递归查看目录

hadoopfs命令详解_hadoophdfs命令上传

5、一次性创建所有HDFS子目录

逐级创建很麻烦,但是可以添加参数-p,来一次性创建多级目录:

hadoopfs命令详解_hadoophdfs命令上传

【二、从本地计算机复制文件到HDFS】

1、复制本地文件到HDFS:

hadoopfs命令详解_hadoophdfs命令上传

2、列出文件内容:

hadoopfs命令详解_hadoophdfs命令上传

可以使用:hadoop fs -cat /user/hduser/test/test1.txt | more 进行分页显示

3、如果复制到HDFS的文件已经存在,会报错,此时可以使用-f 参数,强制复制重复文件到HDFS目录:

hadoopfs命令详解_hadoophdfs命令上传

4、从本地复制多个文件到HDFS,中间用空格分割即可。

5、从本地复制整个目录到HDFS:

hadoopfs命令详解_hadoophdfs命令上传

6、列出HDFS目录下的所有文件(包括这个目录下子目录的文件)

hadoopfs命令详解_hadoophdfs命令上传

7、使用put复制文件到HDFS,这个参数与copyFromLocal的不同之处在于:

-put更宽松,可以把本地或者HDFS上的文件拷贝到HDFS中;而-copyFromLocal则更严格限制只能拷贝本地文件到HDFS中。如果本地和HDFS上都存在相同路径,则-put跟趋于优先取HDFS的源。(不用太深究两者区别,更多用-put)

hadoopfs命令详解_hadoophdfs命令上传

【三、从HDFS上复制文件到本地】

1、参数 -copyToLocal

hadoopfs命令详解_hadoophdfs命令上传

2、同样的也可以用参数-get完成上述操作:

hadoopfs命令详解_hadoophdfs命令上传

【四、复制与删除HDFS文件】

1、使用-cp参数,在HDFS上进行复制文件

hadoopfs命令详解_hadoophdfs命令上传

2、使用-rm参数,删除HDFS上的文件;添加-R参数,删除目录:

hadoopfs命令详解_hadoophdfs命令上传

hadoopfs命令详解_hadoophdfs命令上传

在http://master:50070上可以浏览和操作HDFS的目录和文件

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/186070.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 短信定位 android,短信定位

    短信定位 android,短信定位开发者名称:xunl这是一款利用发送短信来得到对方位置的应用.应用场景:1.寻找家人:家里有小孩子或老人,只要给对方发送一条包含设置好关键字的短信内容,即可以地图的方式在当前手机上显示对方的位置.2.找回手机:自己的手机找不到了,只要给自己的手机发送一条短信,即可得到手机所在地理位置.使用方法(寻找家人):1.首先说一下概念:你想知道谁的位置,那么谁就是软件中的TA,而你在软件中的角色是主人.2….

    2022年10月13日
    2
  • 科学计算机度转弧度,角度弧度换算器在线(70°角度转换弧度)

    科学计算机度转弧度,角度弧度换算器在线(70°角度转换弧度)1°=0.01745rad1rad=57.30°计算过程:1°=π/180≈0.01745rad1rad=180/π=57.30°扩展资料:数学上是用弧度而非角度,因为360的容易整除对数学不重要,而数.角度是DEG,弧度是RAD,梯度是GRA。转换模式的方法是按MODE,然后按相应的键。不同型号可能不一样求采纳!!!!!!!!!!1弧度=180/π度1度=…

    2022年6月30日
    149
  • idea2022.01.12mybatiscodehelperpro激活码(JetBrains全家桶)[通俗易懂]

    (idea2022.01.12mybatiscodehelperpro激活码)这是一篇idea技术相关文章,由全栈君为大家提供,主要知识点是关于2021JetBrains全家桶永久激活码的内容IntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,下面是详细链接哦~https://javaforall.net/100143.html4KDDGND3CI-eyJsaWN…

    2022年4月1日
    156
  • 图像处理——Canny算子 图像边缘检测:Canny算子、Prewitt算子和sobel算子

    图像处理——Canny算子 图像边缘检测:Canny算子、Prewitt算子和sobel算子https://blog.csdn.net/fengye2two/article/details/79190759https://www.jianshu.com/p/bed4ffe996a1

    2022年7月14日
    14
  • 分享一份软件测试项目实战(web+app+h5+小程序)

    分享一份软件测试项目实战(web+app+h5+小程序)大家好,我是谭叔。本次,谭叔再度出马,给大家找了一个非常适合练手的软件测试项目,此项目涵盖web端、app端、h5端、小程序端,可以说非常之全面。缘起在这之前,谭叔已经推出了九套实战教程。但是,这些教程以web测试和接口测试为主,没有app等项目。为了让实战项目更加全面、涵盖到各端,同时也为了满足读者粉丝们对项目的高需求,我决定再给大家找一个项目。(实力宠粉,求个赞不过分吧~)说实话,在找项目的过程中,我下载过(甚至付费下载过)N多个项目、联系过很多项目的作者,但是绝大部分项目,在我看来,并不

    2022年6月22日
    39
  • 那么蒙特卡洛树搜索(Monte Calro Tree Search, MCTS)究竟是啥

    那么蒙特卡洛树搜索(Monte Calro Tree Search, MCTS)究竟是啥同时发布于:http://www.longgaming.com/archives/214Intro最近阿法狗和李师师的人机大战着实火了一把,还顺带捧红了柯杰,古力等一干九段。虽然我从小学的是象棋,对围棋也只是略知一二,但是棋魂还是对我影响颇深的启蒙漫画,于是还是凑热闹看了几盘大战。其中蒙特卡洛树搜索(MonteCalroTreeSearch,MCTS)就多次被各路砖家提及。想必各位选过AI课

    2022年6月24日
    31

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号