【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

大家好,又见面了,我是全栈君,今天给大家准备了Idea注册码。

结束historyserver例如,下面的命令可以看到:

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

第四步:验证Hadoop分布式集群

首先在hdfs文件系统上创建两个文件夹。创建步骤例如以下所看到的:

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount样例的数据文件,程序执行的结果输出到/output/wordcount文件夹中。透过Web控制能够发现我们成功创建了两个文件夹:

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

接下来将本地文件的数据上传到HDFS目录中:

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

透过Web控制能够发现我们成功上传了文件:

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

也可通过hadoop的hdfs命令在控制命令终端查看信息:

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

执行Hadoop自带的WordCount样例。执行例如以下命令:

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

执行步骤例如以下:

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

版权声明:本文博主原创文章,博客,未经同意不得转载。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/117121.html原文链接:https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 用CA给证书签名「建议收藏」

    用CA给证书签名「建议收藏」本文原创自http://blog.csdn.net/voipmaker 转载注明出处。本系列文章分为三篇,主要介绍构建自己的证书颁发服务,生成证书请求,以及通过自己构建的CA给生成的证书请求签名并最终应用到服务。本文是最后一篇,结合前面的两篇文章,可以通过自己构建的CA给自己的应用签名。本文假设你已经参照签名两篇文章流程,CA key在目录 /home/cg/myc

    2022年6月3日
  • 听说B站视频的完成率也是一项挺重要的指标,下面来提高它

    听说B站视频的完成率也是一项挺重要的指标,下面来提高它

    2021年11月11日
  • 数据结构面试常见问题总结怎么写_前端数据结构与算法面试题

    数据结构面试常见问题总结怎么写_前端数据结构与算法面试题数据结构面试常见问题总结写在前面本文记录了一些数据结构面试常见问题,本意用于考研复试,以下面试题为网上整理的问题以及自己加入的一些问题,答案仅供参考!Q:数据结构三要素A:逻辑结构、物理结构、数据运算Q:数组与链表有什么区别?A:数组静态分配内存,链表动态分配内存数组在内存中连续,链表不连续数组利用下标定位,时间复杂度为O(1),链表定位元素时间复杂度O(n)数组插入或删除元素的时间复杂度O(n),链表的时间复杂度O(1)Q:线性表的存储结构?A:顺序存储(内

    2022年9月15日
  • 2021goland激活码 4月最新注册码_通用破解码

    2021goland激活码 4月最新注册码_通用破解码,https://javaforall.net/100143.html。详细ieda激活码不妨到全栈程序员必看教程网一起来了解一下吧!

    2022年3月17日
  • latex 希腊字母输入「建议收藏」

    latex 希腊字母输入「建议收藏」数学公式离不开希腊字母,以下列出了LaTex中产生希腊字母的控制命令:  \alpha产生字符α;\beta产生字符β;\gamma产生字符γ;\delta产生字符δ;\epsilon产生字符ε;\zeta产生字符ζ;\eta产生字符η;\theta产生字符9;\iota产生字符ιt;\kappa产生字符κ;\1ambda产生字符λ;\mu产生字符μ;\xi产生字符ξ:\nu产生字符ν

    2022年10月13日
  • 详解Python中pyautogui库的最全使用方法

    详解Python中pyautogui库的最全使用方法这篇文章主要介绍了详解Python中pyautogui库的最全使用方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值在使用Python做脚本的话,有两个库可以使用,一个为PyUserInput库,另一个为pyautogui库。就本人而言,我更喜欢使用pyautogui库,该库功能多,使用便利。下面给大家介绍一下pyautogui库的使用方法。在cmd命令框中输入pip3installpyautogui即可安装该库!常用操作我们在pyautogui库中常

    2022年7月20日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号