试述Hadoop的HDFS及其组成_hadoop命令和hdfs命令区别

试述Hadoop的HDFS及其组成_hadoop命令和hdfs命令区别hdfs命令,hadoop基本常用命令

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

HDFS常用基本命令:

进入 Hadoop 的配置文件目录:cd /usr/local/hadoop
执行名称节点的格式化:./bin/hdfs namenode -format
启动 HDFS:./sbin/start-dfs.sh
停止 HDFS:./sbin/stop-dfs.sh

hdfs 上传文件至集群(student.txt文件在当前所在路径,如果不在则需要加绝对路径):

./bin/hdfs dfs -put student.txt /usr/stu/input

创建:

hdfs 创建目录(文件夹):./bin/hdfs dfs -mkdir /user
hdfs 递归创建目录(文件夹):./bin/hdfs dfs -mkdir -p /user/stu/…

删除:

hdfs 删除空目录:./bin/hdfs dfs -rm -r /output
hdfs 删除文件(data.txt):./bin/hdfs dfs -rm usr/stu/input/data.txt
hdfs 递归删除output目录(文件夹)(根目录下的ouput目录内所有文件全都被删除):
./bin/hdfs dfs -rm -r /output

下载:

将hdfs集群指定目录下的文件下载到本地计算机 /usr路径(如果没有权限在前面加sudo):
./bin/hdfs dfs -get /output/part-r-00000 /usr

查看集群根目录文件data.txt文件内容:

./bin/hdfs dfs -cat /data.txt

在集群根目录下创建一个空文件a.txt:

./bin/hdfs dfs -touchz /a.txt

将根目录下的文件a.txt重命名为b:

./bin/hdfs dfs -mv /a.txt /b.txt

1. 在HDFS上建立/user/stu/自己学号,并将party.csv上传至该目录下。

./bin/hdfs dfs -mkdir -p /user/stu/学号
./bin/hdfs dfs -put party.csv /user/stu/学号

2.根据学号完成以下题目

查看hdfs的/user/stu/自己学号/party.csv的前五行数据。

./bin/hdfs dfs -cat /user/stu/19561240316/party.csv | head -5

级联列出hdfs的/user/stu/下的目录和文件。

./bin/hdfs dfs -ls -R /user/stu/

将hdfs的/user/stu/自己学号/party.csv复制到集群根目录。

./bin/hdfs dfs -cp /user/stu/19561240316/party.csv /

测试/use/stu/下是否存在exam目录

./bin/hdfs dfs -test -e /user/stu/exam
echo $?

下载hdfs的/user/stu/自己学号/party.csv到本地文件夹/home/stu/exam/下。

./bin/hdfs dfs -get /user/stu/19561240316/party.csv /home/stu/exam/

3.在hdfs的根目录新建文件test.txt,使用追写文件命令,在终端输入自己的学号,追加到该文件中。

./bin/hdfs dfs -touchz /test.txt
./bin/hdfs dfs -appendToFile – /test.txt
19561240316

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/188207.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • offset宏定义_vba left函数

    offset宏定义_vba left函数最近做某项目撸代码时用到了offsetof宏,第一次使用这个宏,项目结束后对其用法也略知一二,现分享如下。位于stddef.h中的offsetof()宏,是获得struct中某成员相对于struct首地址的偏移量,以byte为单位,用struct首地址加该偏移量获得该成员的实际地址时,要把struct首地址强制转换成以byte为计数单位,地址本身一般都是32位(与芯片架构有关),强制转换的计数单位…

    2022年8月22日
    8
  • SHFileOperation 文件夹COPY「建议收藏」

    SHFileOperation 文件夹COPY「建议收藏」/********************************************************函数名:CopyFolder函数功能:文件夹复制输入参数:lpszFromPath,lpszFromPath返回值:True说明:源目录必须以’\0\0′(即连续的两个’\0′)结束,不能以’\’结束*******************************

    2022年7月18日
    14
  • redis+springboot_全集成厨房

    redis+springboot_全集成厨房一、Redis集成简介Redis是我们Java开发中,使用频次非常高的一个nosql数据库,数据以key-value键值对的形式存储在内存中。redis的常用使用场景,可以做缓存,分布式锁,自增序列等,使用redis的方式和我们使用数据库的方式差不多,首先我们要在自己的本机电脑或者服务器上安装一个redis的服务器,通过我们的java客户端在程序中进行集成,然后通过客户端完成对redis的增删改查操作。redis的Java客户端类型还是很多的,常见的有jedis,redission,lettuce等,

    2022年9月22日
    2
  • SpringBoot——AOP面向切面编程-swagger操作日志

    SpringBoot——AOP面向切面编程-swagger操作日志SpringBoot——AOP面向切面编程-swagger操作日志

    2022年4月23日
    141
  • 合理的基尼系数_基尼系数为1表示

    合理的基尼系数_基尼系数为1表示一、基尼指数的概念基尼指数(Gini不纯度)表示在样本集合中一个随机选中的样本被分错的概率。注意:Gini指数越小表示集合中被选中的样本被参错的概率越小,也就是说集合的纯度越高,反之,集合越不纯。当集合中所有样本为一个类时,基尼指数为0.二、基尼系数的计算公式基尼指数的计算公式为:三、计算示例我们分别来计算一下决策树中各个节点基尼系数:以下excel表格记录了Gini系数的计算过程。我们可以看到,GoodBloodCircle的基尼系数是最小的,也就是最不容易犯错误,因此我们应该把这个

    2022年10月13日
    2
  • JQuery安装与下载教程

    JQuery安装与下载教程jQuery安装与下载JQuery是一个javaScript库,是一个轻量级的”写的少,做的多”的JavaScript库。jQuery极大地简化javaScript编程–juery相比js优点:jquery的onload加载事件速度更快,并且多个加载并行 【jq绑定事件都是使用的事件函数,不需要加on】; js的onloa…

    2022年6月6日
    69

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号