试述Hadoop的HDFS及其组成_hadoop命令和hdfs命令区别

试述Hadoop的HDFS及其组成_hadoop命令和hdfs命令区别hdfs命令,hadoop基本常用命令


Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

HDFS常用基本命令:

进入 Hadoop 的配置文件目录:cd /usr/local/hadoop
执行名称节点的格式化:./bin/hdfs namenode -format
启动 HDFS:./sbin/start-dfs.sh
停止 HDFS:./sbin/stop-dfs.sh

hdfs 上传文件至集群(student.txt文件在当前所在路径,如果不在则需要加绝对路径):

./bin/hdfs dfs -put student.txt /usr/stu/input

创建:

hdfs 创建目录(文件夹):./bin/hdfs dfs -mkdir /user
hdfs 递归创建目录(文件夹):./bin/hdfs dfs -mkdir -p /user/stu/…

删除:

hdfs 删除空目录:./bin/hdfs dfs -rm -r /output
hdfs 删除文件(data.txt):./bin/hdfs dfs -rm usr/stu/input/data.txt
hdfs 递归删除output目录(文件夹)(根目录下的ouput目录内所有文件全都被删除):
./bin/hdfs dfs -rm -r /output

下载:

将hdfs集群指定目录下的文件下载到本地计算机 /usr路径(如果没有权限在前面加sudo):
./bin/hdfs dfs -get /output/part-r-00000 /usr

查看集群根目录文件data.txt文件内容:

./bin/hdfs dfs -cat /data.txt

在集群根目录下创建一个空文件a.txt:

./bin/hdfs dfs -touchz /a.txt

将根目录下的文件a.txt重命名为b:

./bin/hdfs dfs -mv /a.txt /b.txt

1. 在HDFS上建立/user/stu/自己学号,并将party.csv上传至该目录下。

./bin/hdfs dfs -mkdir -p /user/stu/学号
./bin/hdfs dfs -put party.csv /user/stu/学号

2.根据学号完成以下题目

查看hdfs的/user/stu/自己学号/party.csv的前五行数据。

./bin/hdfs dfs -cat /user/stu/19561240316/party.csv | head -5

级联列出hdfs的/user/stu/下的目录和文件。

./bin/hdfs dfs -ls -R /user/stu/

将hdfs的/user/stu/自己学号/party.csv复制到集群根目录。

./bin/hdfs dfs -cp /user/stu/19561240316/party.csv /

测试/use/stu/下是否存在exam目录

./bin/hdfs dfs -test -e /user/stu/exam
echo $?

下载hdfs的/user/stu/自己学号/party.csv到本地文件夹/home/stu/exam/下。

./bin/hdfs dfs -get /user/stu/19561240316/party.csv /home/stu/exam/

3.在hdfs的根目录新建文件test.txt,使用追写文件命令,在终端输入自己的学号,追加到该文件中。

./bin/hdfs dfs -touchz /test.txt
./bin/hdfs dfs -appendToFile – /test.txt
19561240316

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/188207.html原文链接:https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长

相关推荐

  • 超详细的springBoot学习笔记

    超详细的springBoot学习笔记SpringBoot1.SpringBoot简介Spring诞生时是Java企业版(JavaEnterpriseEdition,JEE,也称J2EE)的轻量级代替品。无需开发重量级的EnterpriseJavaBean(EJB),Spring为企业级Java开发提供了一种相…

    2022年10月21日
  • Ubuntu安装yum失败

    Ubuntu安装yum失败先看一下虚拟机可以上网;那么联网没有问题;yum-ylistjava*;查看jdk版本;提示yum没有安装;那么先要安装yum;输入rpm-qayum,查看yum的安装情况,rpm也没有安装;输入apt-getinstallyum安装yum,提示权限不足,areyouroot?当前是root用户;在命令前加sudo就对了;sudoapt-getinstallyum;然后提示不能定位yum包;需要先执行apt-getupdate;前面还

    2022年6月16日
  • Python基础之(三)—-PyGame安装步骤

    Python基础之(三)—-PyGame安装步骤

    2021年10月16日
  • java和python哪个值得学-学java好还是Python好?

    java和python哪个值得学-学java好还是Python好?首先我简单的说下目前的市场发展行情,Java和Python发行时间都有很多年了,但是或许你自己也应该清楚,Python是什么时候开始步入我们的生活,步入我们的眼线的,对,就是近几年,这几年随着培训机构的不断兴起,互联网的快速发展,就我自己处在这个圈子来看,Python炒的有点凶了,大家都说Python是一胶水编程语言,意思就是说他可以做很多方面的工作,可以做:web开发,网络爬虫,数据分析,机器学…

    2022年7月8日
  • linux aarch64启动不了,引导AArch64 Linux

    linux aarch64启动不了,引导AArch64 Linux前注:本文是Documentation/arm64/booting的翻译。这篇文章基于RussellKing所写的《theARMbootingdocument》,并与AArch64Linuxkernel的所有公开版本相关。AArch64异常模型由几级异常组成,分别是EL0-EL3,EL0和EL1又分别有安全和非安全模式,EL2是hypervisor级别,仅存在于安全模式,EL3是最…

    2022年10月16日
  • 运行时异常与非运行时异常的区别

    运行时异常与非运行时异常的区别

    2021年7月16日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号