hadoop hdfs命令 脚本源码_hadoop启动hdfs命令

hadoop hdfs命令 脚本源码_hadoop启动hdfs命令hadoop集群搭建好之后,通过HDFS命令操作HDFS分布式文件系统,HDFS命令与linux命令类似所有命令有/bin/hadoop脚本引发,可以使用命令查看帮助文档hadoopfs-help使用HDFS命令之前,必须启动hadoop集群,且命令执行在master节点上

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

hadoop集群搭建好之后,通过HDFS命令操作HDFS分布式文件系统,HDFS命令与linux命令类似

所有命令有/bin/hadoop脚本引发,可以使用命令查看帮助文档

hadoop fs-help

使用HDFS命令之前,必须启动hadoop集群,且命令执行在master节点上

hadoop常用命令

格式:

hadoop fs -命令 [-选项] [文件/目录]

命令 说明 补充
hadoop fs -mkdir 创建HDFS目录 -p选项,可以一次性创建多级目录
hadoop fs -ls 列出HDFS目录 -R选项,查看目录下所有的文件(递归Recursive)
hadoop fs –ls /查看HDFS根目录
hadoop fs –ls –R /查看HDFS所有子目录
hadoop fs -copyFromLocal 上传本地文件到HDFS -f选项,强制复制(存在则替换文件)
hadoop fs -put 上传本地文件到HDFS -f选项,强制复制(存在则替换文件),特别的可以写入内容
hadoop fs -copyToLocal 将HDFS文件下载到本地
hadoop fs -get 将HDFS文件下载到本地
hadoop fs -cp 复制HDFS文件
hadoop fs -rm 删除HDFS文件 -R选项,删除目录
hadoop fs -cat 查看HDFS目录下的文件内容 (只有文本文件的内容可以查看,其它类型会乱码)
hadoop fs –test查看文件
hadoop fs –tail查看文件

Linux本机和HDFS之间文件传输

即虚拟机的linux系统的文件与hadoop的HDFS分布式系统的文件之间的文件共享

上传文件(linux—>hdfs)

hadoop fs -copyFromLocal [linux] [hdfs]
hadoop fs -put [linux] [hdfs]

可以进行文件重命名
hdfs没有写文件名,默认为原来的命名
linux上传的文件必须存在
hdfs已经存在文件,不会上传,使用下面选项,强制上传
-f选项,强制复制(存在则替换文件)
可以上传多个文件
可以上传目录

-put命令,还可以接收输入stdin

将指定内容显示在屏幕上:echo [内容]
通过”|”(管道符pipe)将屏幕的内容传递存入文件(存入文件不能已经存在)
例:(注意有-put命令后还有 – )
echo abc | hadoop fs -put – /test/echoin.txt
ls ./hadoop—/etc/hadoop | hadoop fs -put – /test/hadoopetc.txt

文件下载(hdfs—>linux)

hadoop fs -copyToLocal [hdfs] [linux]
hadoop fs -get [hdfs] [linux]

可以进行文件重命名
hdfs下载的文件必须存在
可以下载目录

linux命令

命令 说明
cd 目录 进入目录(.表示当前目录,…表示上层目录)
ls [选项] 目录或文件 列出目录[-l -a -R -d -i -h]
cat [选项] 文件名 查看文件内容[-n -b -s]
mkdir [选项] 目录名 创建文件夹[-p]
rm [选项] 文件或目录 删除文件夹[-f -r -i]
cp [选项] 源文件或目录 目标文件或目录 复制文件夹[-p -f -r -i]
mv [选项] 源文件或目录 目标文件或目录 移动文件夹[-f -i -u]
pwd 显示当前工作目录的绝对路径
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/185740.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • Linux防火墙关闭方法[通俗易懂]

    Linux防火墙关闭方法[通俗易懂]Linux防火墙关闭方法关闭防火墙:1、查看状态:systemctlstatusfirewalld2、关闭:systemctlstopfirewalld(只执行这个,重启后不行,还必须执行systemcltdisablefirewalld)1.1、查看selinux状态:getenforce2.2、关闭:编辑文件/etc/selinux…

    2022年9月22日
    4
  • centos7中firewall防火墙详解和配置_centos8 防火墙

    centos7中firewall防火墙详解和配置_centos8 防火墙一、ipset概述ipset与iptableiptables是在Linux内核中配置防火墙规则的用户空间工具。在内核版本更新到2.4以来,iptable一直作为系统中主要的防火墙解决方案。CentOS7将原来的iptable替换为firewall,而firewall提供了对ipset的支持。ipset相当于iptable的扩展,它和iptable处理方式,iptable通过链表…

    2022年9月27日
    3
  • matlab命令,应该很全了!「建议收藏」

    matlab命令,应该很全了!「建议收藏」一、常用对象操作:除了一般windows窗口的常用功能键外。1、!dir可以查看当前工作目录的文件。!dir&可以在dos状态下查看。2、who可以查看当前工作空间变量名,whos可以查看变量名细节。3、功能键:功能键快捷键说明方向上键Ctrl+P返回前一行输入方向下键Ctrl+N返回下一行输入方向左键Ctrl+B

    2022年9月28日
    3
  • Linux下的文本编辑器介绍「建议收藏」

    Linux下的文本编辑器介绍「建议收藏」关于文本编辑器文本编辑器有很多,比如图形模式的gedit、kwrite、OpenOffice……,文本模式下的编辑器有vi、vim(vi的增强版本)和nano……vi和vim是我们在Linux中最常用的编辑器。我们有必要介绍一下vi(vim)最简单的用法,以让Linux入门级用户在最短的时间内学会使用它。 nano工具和DOS操作系统下的edit操作相似,使用简单…

    2022年7月26日
    7
  • Pycharm、Anaconda有什么区别[通俗易懂]

    Pycharm、Anaconda有什么区别[通俗易懂]python自身缺少numpy、matplotlib、scipy、scikit-learn…等一系列包,需要我们安装pip来导入这些包才能进行相应运算(python3.5自带了get-pip.py,不需额外下载安装),在cmd终端输入:pipinstallnumpy就能安装numpy包了。每次都额外安装所需要的包略麻烦,这时候我们可以采用anaconda了。anaconda是一个python发行版,包含了大量的包,使用anaconda无需再去额外安装所需包。安装完anaconda,就相当于安装了Py

    2022年8月28日
    4
  • import啥意思_import怎么导入

    import啥意思_import怎么导入前言我们在开发项目时经常会进行导包有import*格式的,还有from*import*格式的,最后就会显示的很乱,那么有没有什么工具能对导包进行一键排序呢?答案是有的,使用isort工具i

    2022年7月31日
    6

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号