hadoop常用命令汇总[通俗易懂]

hadoop常用命令汇总[通俗易懂]1、查看目录下的文件列表:hadoop fs –ls [文件目录]hadoop fs -ls -h /lance 2、将本机文件夹存储至hadoop上:hadoop fs –put [本机目录] [hadoop目录] hadoop fs -put lance / 3、在hadoop指定目录内创建新目录:hadoop fs –mkdir [目录] hadoop fs -mkdir /lance4、在…

大家好,又见面了,我是你们的朋友全栈君。1、查看目录下的文件列表:hadoop fs –ls [文件目录]

hadoop fs -ls -h /lance 

2、将本机文件夹存储至hadoop上:hadoop fs –put [本机目录] [hadoop目录] 

hadoop fs -put lance / 

3、在hadoop指定目录内创建新目录:hadoop fs –mkdir [目录] 

hadoop fs -mkdir /lance

4、在hadoop指定目录下新建一个文件,使用touchz命令:

hadoop fs -touchz /lance/tmp.txt 

5、将本机文件存储至hadoop上:hadoop fs –put [本机地址] [hadoop目录]

hadoop fs -put tmp.txt /lance #直接目录

hadoop fs -put tmp.txt hdfs://www.lance.com/lance #远程服务器地址

6、打开已存在文件:hadoop fs –cat [文件名称]

hadoop fs -cat /lance/tmp.txt 

7、重命名hadoop fs –mv [旧文件名] [新文件名]

hadoop fs -mv /tmp /tmp_bak #修改文件夹名

8、将hadoop上文件down至本机已有目录下:hadoop fs -get [文件目录] [本机目录]

hadoop fs -get /lance/tmp.txt /lance 

9、删除hadoop上文件:hadoop fs -rm [文件地址] 

hadoop fs -rm /lance/tmp.txt 

10、删除hadoop上指定文件夹(包含子目录等):hadoop fs –rm -r [目录地址]

hadoop fs -rmr /lance 

11、将hadoop指定目录下所有内容保存为一个文件,同时下载至本机

hadoop dfs –getmerge /user /home/t

12、将正在运行的hadoop作业kill掉

hadoop job –kill  [jobId]

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/149533.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • vim中多行注释和多行删除命令「建议收藏」

    vim中多行注释和多行删除命令「建议收藏」vim中多行注释和多行删除命令这些命令也是经常用到的一些小技巧,可以大大提高工作效率。.多行注释:首先按esc进入命令行模式下,按下Ctrl+v,进入列(也叫区块)模式;在行首使用上下键选择需要注释的多行;按下键盘(大写)“I”键,进入插入模式;然后输入注释符(“//”、“#”等);最后按下“Esc”键。注:在按下esc键后,会稍等一会才会出现注释,不要着急~~时间很短的2.删除多行注释:首先按esc进入命令行模式下,按下Ctrl+v,进入列模式;选定要取消注释的多行;

    2022年6月17日
    42
  • 固态硬盘损坏 数据恢复_固态硬盘如何恢复数据

    固态硬盘损坏 数据恢复_固态硬盘如何恢复数据先在没有专业技术和维修经验的前提下,切勿自己动手去修复硬盘,操作不当极易对硬盘固件造成二次损坏,带来数据丢失的严重后果!有送修硬盘的客户,由于在小电脑店或者小作坊修过硬盘,失败后才拿到正规渠道做数据恢复,结果还是失败,正是因为一些不正确的操作对受损硬盘进行了二次或者多次损坏,导致数据恢复提取失败!所以,遇到硬盘故障问题,一定要送修专业机构进行数据恢复。专业级我们把常见的固态硬盘损坏概括为硬件损坏(电路板和主控)和固件损坏。1.硬件损坏如果是硬件损坏,可以通过更换电路板和主控来恢复硬盘

    2022年9月20日
    2
  • ipv4和ipv6对比(IPV4)

    TCP/IP的心脏是互联网层,这一层主要由IP和ICMP两个协议组成。IP相当于OSI参考模型中的第三层——网络层。而网络层的作用是实现终端节点之间的通信。这种终端节点之间的通信也叫‘点到点’通信。IP地址用于连接在网络中的所有主机中识别出进行通信的目标地址。谷在tcp/ip通信的所有主机中必须设置IP地址。路由控制、多条路由和路由控制表使得数据包可以成功抵达要去的地方。路由控制表记录着此…

    2022年4月15日
    187
  • 两个list取交集_python两个list取并集

    两个list取交集_python两个list取并集两个list求交集,一种方式是手动遍历,然后判断是否contains,然后添加到结果list中这里介绍另外一个方法直接调用list1.retainAll(list2),调用完成后,list1中不在list2的元素都会被剔除,此时list1就是交集/***retain*保留*/@TestpublicvoidtestRetain(){List<String>list1=

    2022年10月6日
    1
  • Java动态代理实现动态爬虫

    Java动态代理实现动态爬虫笔者公司是一家区块链门户网站,该网站的很多资讯,快讯,视频等数据都是通过爬虫爬取得第三方网站获得的,需要从很多网站要爬取数据,如果每个数据源网站都需要单独写个接口去爬的话,工作量无疑是巨大的,因为笔者想到了通过动态代理实现一套爬虫机制,每次要爬取新的数据源,只要在数据库里增加一条数据源即可,无需修改代码。废话不多说,下贴出数据库表结构DROPTABLEIFEXISTS…

    2022年7月15日
    19
  • git命令切换分支

    git命令切换分支git切换分支首先通过$gitbranch-a来查看所在目录的分支$gitbranch-amaster*trunkremotes/origin/HEAD-&gt;origin/masterremotes/origin/masterremotes/origin/zhanghanlun然后输入命令切换分支$gitch…

    2022年6月20日
    30

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号