hadoopfs命令详解_hadoophdfs命令上传

hadoopfs命令详解_hadoophdfs命令上传格式:hadoopfs-命令主要有如下的命令:命令说明hadoopfs-mkdir创建HDFS目录hadoopfs-ls列出HDFS目录hadoopfs-copyFromLocal使用-copyFromLocal复制本地文件(local)到HDFShadoopfs-put使用-put复制本地(local)文件到HDFShadoopfs-copyToLocal将HDFS上的文件复制到本地(local)hadoopfs-get将HDFS上的文件复制到本地

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

格式:hadoop fs -命令

主要有如下的命令:

命令

说明

hadoop fs -mkdir

创建HDFS目录

hadoop fs -ls

列出HDFS目录

hadoop fs -copyFromLocal

使用-copyFromLocal复制本地文件(local)到HDFS

hadoop fs -put

使用-put复制本地(local)文件到HDFS

hadoop fs -copyToLocal

将HDFS上的文件复制到本地(local)

hadoop fs -get

将HDFS上的文件复制到本地(local)

hadoop fs -cp

复制HDFS文件

hadoop fs -rm

删除HDFS文件

hadoop fs -cat

列出HDFS目录下的文件的内容

【一、创建与查看HDFS目录】

1、创建HDFS目录:
hadoopfs命令详解_hadoophdfs命令上传

2、查看之前创建的HDFS目录

hadoopfs命令详解_hadoophdfs命令上传

注意:因为登录的用户为hduser,所以会显示/user/hduser下的目录。

3、查看HDFS完整目录

因为hadoop fs -ls只能查看一级目录,所以必须逐级查看:

hadoopfs命令详解_hadoophdfs命令上传

4、查看所有的HDFS子目录

HDFS提供了一个方便的选项 -R 可以递归查看目录

hadoopfs命令详解_hadoophdfs命令上传

5、一次性创建所有HDFS子目录

逐级创建很麻烦,但是可以添加参数-p,来一次性创建多级目录:

hadoopfs命令详解_hadoophdfs命令上传

【二、从本地计算机复制文件到HDFS】

1、复制本地文件到HDFS:

hadoopfs命令详解_hadoophdfs命令上传

2、列出文件内容:

hadoopfs命令详解_hadoophdfs命令上传

可以使用:hadoop fs -cat /user/hduser/test/test1.txt | more 进行分页显示

3、如果复制到HDFS的文件已经存在,会报错,此时可以使用-f 参数,强制复制重复文件到HDFS目录:

hadoopfs命令详解_hadoophdfs命令上传

4、从本地复制多个文件到HDFS,中间用空格分割即可。

5、从本地复制整个目录到HDFS:

hadoopfs命令详解_hadoophdfs命令上传

6、列出HDFS目录下的所有文件(包括这个目录下子目录的文件)

hadoopfs命令详解_hadoophdfs命令上传

7、使用put复制文件到HDFS,这个参数与copyFromLocal的不同之处在于:

-put更宽松,可以把本地或者HDFS上的文件拷贝到HDFS中;而-copyFromLocal则更严格限制只能拷贝本地文件到HDFS中。如果本地和HDFS上都存在相同路径,则-put跟趋于优先取HDFS的源。(不用太深究两者区别,更多用-put)

hadoopfs命令详解_hadoophdfs命令上传

【三、从HDFS上复制文件到本地】

1、参数 -copyToLocal

hadoopfs命令详解_hadoophdfs命令上传

2、同样的也可以用参数-get完成上述操作:

hadoopfs命令详解_hadoophdfs命令上传

【四、复制与删除HDFS文件】

1、使用-cp参数,在HDFS上进行复制文件

hadoopfs命令详解_hadoophdfs命令上传

2、使用-rm参数,删除HDFS上的文件;添加-R参数,删除目录:

hadoopfs命令详解_hadoophdfs命令上传

hadoopfs命令详解_hadoophdfs命令上传

在http://master:50070上可以浏览和操作HDFS的目录和文件

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/186070.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • Python字符串使用详解

    Python字符串使用详解除了数字,Python中最常见的数据类型就是字符串,无论那种编程语言,字符串无处不在。例如,从用户哪里读取字符串,并将字符串打印到屏幕显示出来。字符串是一种数据结构,这让我们有机会学习索引和切片——用于从字符串中提取子串的方法。1字符串索引在Python语法支持中,我们简单的阐述过字符串的使用,现在我们看看python程序在处理字符串时,如何对其进行索引,打印出其中的每个字符串。我们输入一个字符串:’你好,Lucky’,Python使用方括号[]来对字符串进行索引,方括号内的数字0~n表

    2025年7月29日
    3
  • Linux 查看磁盘大小

    Linux 查看磁盘大小新买回来的戴尔塔式服务器 查看磁盘大小命令 fdisk l 不用 df h 命令的原因是有写磁盘没有挂载的话不会显示比如 我用 df h 查出来是 2T 其实硬盘是 4T 用 fdisk l 就可以查询出来 OK

    2025年8月3日
    3
  • centos7 top命令_linux系统top命令

    centos7 top命令_linux系统top命令top命令Linuxtop命令用于实时显示process的动态。top参数详解第一行,任务队列信息**系统当前时间:**13:52:56**系统开机后到现在的总运行时间:**up66

    2022年7月29日
    12
  • Python netcdf_python处理nc文件

    Python netcdf_python处理nc文件  NetCDF(networkCommonDataForm)网络通用数据格式是一种面向数组型并适于网络共享的数据的描述和编码标准。目前,NetCDF广泛应用于大气科学、水文、海洋学、环境模拟、地球物理等诸多领域。用户可以借助多种方式方便地管理和操作NetCDF数据集。  文件的后缀是.nc  这里采用python的一个专门用来处理.nc文件的库–netCDF4该库的安装直接:pipinstallnetCDF4这个库玩起来稍微比Pandas复杂一些。下面以全球降水量数据为例进行

    2025年8月20日
    44
  • 【javaScript】cssText兼容及好处(相对于element.style)

    【javaScript】cssText兼容及好处(相对于element.style)cssText概念和特点cssText本质是什么?cssText的本质就是设置HTML元素的style属性值。cssText怎么用?document.getElementById(“d1”).style.cssText=“color:red;font-size:13px;”;cssText返回值是什么?在某些浏览器中(比如Chrome),你给他赋什么值,…

    2022年7月26日
    15
  • 关于Loadrunner11激活成功教程的各种问题。。。泪奔。。。[通俗易懂]

    关于Loadrunner11激活成功教程的各种问题。。。泪奔。。。[通俗易懂]loadrunner11的激活成功教程步骤:(1)打开LoadRunner8.0文件夹,用LR8.0中的mlr5lprg.dll、lm70.dll覆盖LR11安装目录下“bin”文件夹中的对应文件4.手动修改注册表,删除下面内容,也就是Licesen2目录(不删除的话,在添加licence时,会提示“Licensesecurityviolation……”):[HKEY_LO

    2022年7月22日
    12

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号