hadoopfs命令详解_hadoophdfs命令上传

hadoopfs命令详解_hadoophdfs命令上传格式:hadoopfs-命令主要有如下的命令:命令说明hadoopfs-mkdir创建HDFS目录hadoopfs-ls列出HDFS目录hadoopfs-copyFromLocal使用-copyFromLocal复制本地文件(local)到HDFShadoopfs-put使用-put复制本地(local)文件到HDFShadoopfs-copyToLocal将HDFS上的文件复制到本地(local)hadoopfs-get将HDFS上的文件复制到本地

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

格式:hadoop fs -命令

主要有如下的命令:

命令

说明

hadoop fs -mkdir

创建HDFS目录

hadoop fs -ls

列出HDFS目录

hadoop fs -copyFromLocal

使用-copyFromLocal复制本地文件(local)到HDFS

hadoop fs -put

使用-put复制本地(local)文件到HDFS

hadoop fs -copyToLocal

将HDFS上的文件复制到本地(local)

hadoop fs -get

将HDFS上的文件复制到本地(local)

hadoop fs -cp

复制HDFS文件

hadoop fs -rm

删除HDFS文件

hadoop fs -cat

列出HDFS目录下的文件的内容

【一、创建与查看HDFS目录】

1、创建HDFS目录:
hadoopfs命令详解_hadoophdfs命令上传

2、查看之前创建的HDFS目录

hadoopfs命令详解_hadoophdfs命令上传

注意:因为登录的用户为hduser,所以会显示/user/hduser下的目录。

3、查看HDFS完整目录

因为hadoop fs -ls只能查看一级目录,所以必须逐级查看:

hadoopfs命令详解_hadoophdfs命令上传

4、查看所有的HDFS子目录

HDFS提供了一个方便的选项 -R 可以递归查看目录

hadoopfs命令详解_hadoophdfs命令上传

5、一次性创建所有HDFS子目录

逐级创建很麻烦,但是可以添加参数-p,来一次性创建多级目录:

hadoopfs命令详解_hadoophdfs命令上传

【二、从本地计算机复制文件到HDFS】

1、复制本地文件到HDFS:

hadoopfs命令详解_hadoophdfs命令上传

2、列出文件内容:

hadoopfs命令详解_hadoophdfs命令上传

可以使用:hadoop fs -cat /user/hduser/test/test1.txt | more 进行分页显示

3、如果复制到HDFS的文件已经存在,会报错,此时可以使用-f 参数,强制复制重复文件到HDFS目录:

hadoopfs命令详解_hadoophdfs命令上传

4、从本地复制多个文件到HDFS,中间用空格分割即可。

5、从本地复制整个目录到HDFS:

hadoopfs命令详解_hadoophdfs命令上传

6、列出HDFS目录下的所有文件(包括这个目录下子目录的文件)

hadoopfs命令详解_hadoophdfs命令上传

7、使用put复制文件到HDFS,这个参数与copyFromLocal的不同之处在于:

-put更宽松,可以把本地或者HDFS上的文件拷贝到HDFS中;而-copyFromLocal则更严格限制只能拷贝本地文件到HDFS中。如果本地和HDFS上都存在相同路径,则-put跟趋于优先取HDFS的源。(不用太深究两者区别,更多用-put)

hadoopfs命令详解_hadoophdfs命令上传

【三、从HDFS上复制文件到本地】

1、参数 -copyToLocal

hadoopfs命令详解_hadoophdfs命令上传

2、同样的也可以用参数-get完成上述操作:

hadoopfs命令详解_hadoophdfs命令上传

【四、复制与删除HDFS文件】

1、使用-cp参数,在HDFS上进行复制文件

hadoopfs命令详解_hadoophdfs命令上传

2、使用-rm参数,删除HDFS上的文件;添加-R参数,删除目录:

hadoopfs命令详解_hadoophdfs命令上传

hadoopfs命令详解_hadoophdfs命令上传

在http://master:50070上可以浏览和操作HDFS的目录和文件

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/186070.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • IntelliJ IDEA 如何创建一个普通的 Java 项目,及创建 Java 文件并运行

    首先,确保IDEA软件正确安装完成,Java开发工具包JDK安装完成。IntelliJIDEA下载地址:https://www.jetbrains.com/idea/download/#section=windowsJDK下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.htmlIDEA…

    2022年4月13日
    61
  • Remove Duplicates from Sorted Array — LeetCode

    Remove Duplicates from Sorted Array — LeetCode原题链接: http://oj.leetcode.com/problems/remove-duplicates-from-sorted-array/ 这道题跟RemoveElement类似,也是考察数组的基本操作,属于面试中比较简单的题目。做法是维护两个指针,一个保留当前有效元素的长度,一个从前往后扫,然后跳过那些重复的元素。因为数组是有序的,所以重复元素一定相邻,不需要额外记录。时间复

    2025年6月18日
    3
  • hexdump用法_linux dump命令

    hexdump用法_linux dump命令本文乃fireaxe原创,使用GPL发布,可以自由拷贝,转载。但转载请保持文档的完整性,并注明原作者及原链接。内容可任意使用,但对因使用该内容引起的后果不做任何保证。作者:fireaxe_hq@hotmail.com博客:fireaxe.blog.chinaunix.net转自:http://blog.chinaunix.net/uid-20528014-id-4087756.html开发时经常会…

    2022年9月21日
    2
  • LoadRunner11安装激活成功教程与汉化

    LoadRunner11安装激活成功教程与汉化1.安装LoadRunner的基本环境1、LoadRunner版本:LoadRunner112、电脑环境:Windows7+ie8注意:如果系统浏览器版本高于ie8,请降回ie8以下后再做LoadRunner安装。安装之前请将各种杀毒软件退出。2.安装资源1、资源:loadrunner11下载链接:https://去pan.baidu.com掉/s/1l_1k7中O8文by…

    2022年7月22日
    17
  • LayUI树形表格treetable使用详解[通俗易懂]

    LayUI树形表格treetable使用详解[通俗易懂]LayUI是现在比较流行的一款前端框架,也有很多人基于LayUI开发了很多不错的组件,比如treetable树形表格。因为treetable是第三方基于LayUI开发的,所以需要先用Layui引入一下文件。layui.config({base:’static/layui/’}).extend({treetable:’treetable-lay/treetab…

    2022年6月13日
    567
  • 两种方法在VMware中安装VMware Tools

    两种方法在VMware中安装VMware ToolsVMwareTools的主要作用是虚拟硬件的驱动,鼠标的无缝移出移入,剪贴板共享,共享主机上的文件夹等功能。 方法一1.打开文件夹-Ubuntu17.10amd64(根据自己版本来看)。2.在VMwareWorkstation主界面点击菜单“虚拟机”。会弹出提示框,点击是。3.保持网络状态,等待后台下载,下载后会出现一个压缩包。在下载过程中可能会出现DVD图标…

    2022年5月26日
    37

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号