08_运行hadoop提供的示例程序

全栈程序员-站长 • 2021年8月22日下午11:00 • 未分类 • 阅读 45

08_运行hadoop提供的示例程序

通过上篇文章，我们已经搭建好了整个hadoop体系。我们都知道，hadoop由三大组建：

（1）HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode/SecondaryNameNode。

（2）YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager

（3）MapReduce：它其实是一个应用程序开发包。

接下来，我们通过hadoop提供的实例程序来体会一下hadoop的功能。并由此验证我们的整个hadoop体系是否能够正常运行。

该示例程序的主要作用时统计HDFS上的某个文件中每个单词出现的次数。

1 在master上新建一个文本文档：input.txt

vi input.txt

文件内容：

08_运行hadoop提供的示例程序

2 使用文件上传命令，将该文件上传到hdfs存储的input目录下。

hadoop fs -put ./input.txt /input

08_运行hadoop提供的示例程序

3 查找需要运行的实例程序

 find /usr/local/hadoop -name *example*.jar

08_运行hadoop提供的示例程序 4 运行wordcount程序

hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount /input/input.txt /countoutput

08_运行hadoop提供的示例程序

此时在浏览器查看8088端口，我们可以看到

08_运行hadoop提供的示例程序其中ID：当前运行应用的ID，State：Running

之后出现

08_运行hadoop提供的示例程序

state变为Finished

此时在在浏览器在查看50070端口

08_运行hadoop提供的示例程序进入对应的countoutput目录

08_运行hadoop提供的示例程序

当看到_SUCCESS时，表示程序运行成功

08_运行hadoop提供的示例程序

点击Download查看结果

08_运行hadoop提供的示例程序

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们举报，一经查实，本站将立刻删除。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/111286.html原文链接：https://javaforall.net

赞 (0)

全栈程序员-站长

0 0

Java中的FileInputStream与FileOutputStream的基本使用详解[通俗易懂]

Java中的FileInputStream与FileOutputStream的基本使用详解[通俗易懂]Javav中的FileInputStream与FileOutputStream的使用

全栈程序员-站长
2022年6月8日
37
java分层打印二叉树_基于Java的二叉树层序遍历打印实现

java分层打印二叉树_基于Java的二叉树层序遍历打印实现层序遍历的思路：若树为空，则返回空，否则从树的第一层开始，即从根节点，从上而下逐层遍历。1.二叉树层序遍历Ⅰ——剑指offer32-Ⅰ从上到下，从左到右打印二叉树，返回一维数组int[]res。classSolution{publicint[]levelOrder(TreeNoderoot){if(root==null)returnnewint[0];Queueq=…

全栈程序员-站长
2022年5月11日
31
idea

idea激活码2021-激活码分享

(idea激活码2021)最近有小伙伴私信我，问我这边有没有免费的intellijIdea的激活码，然后我将全栈君台教程分享给他了。激活成功之后他一直表示感谢，哈哈~https://javaforall.net/100143.htmlIntelliJ2021最新激活注册码，破解教程可免费永久激活，亲测有效，上面是详细链接哦~MLZP…

全栈程序员-站长
2022年3月21日
70
java 线程池面试题

java 线程池面试题Java多线程面试问题 1.进程和线程之间有什么不同？一个进程是一个独立(selfcontained)的运行环境，它可以被看作一个程序或者一个应用。而线程是在进程中执行的一个任务。Java运行环境是一个包含了不同的类和程序的单一进程。线程可以被称为轻量级进程。线程需要较少的资源来创建和驻留在进程中，并且可以共享进程中的资源。2.多线程编程的好处是什么？在多线程程序中，多个线程被

全栈程序员-站长
2022年5月25日
36
CountDownLatch详解

CountDownLatch详解参考：Java并发编程的艺术JDK版本：AdoptOpenJDK11.0.2+91概念CountDownLatch允许一个或者多个线程去等待其他线程完成操作。CountDownLatch接收一个int型参数，标识要等待的工作线程的个数。当然也不一定是多线程，在单线程中可以用这个int型参数标识多个操作步骤。2方法CountDownLatch2例子下面代码演示2个等待线程通过CountDownLatch去等待3个工作线程完成操作：publicclassCountDownLa.

全栈程序员-站长
2022年7月13日
22
idea

mybatiscodehelperpro 2.9.6 怎么激活(注册激活)「建议收藏」

(mybatiscodehelperpro 2.9.6 怎么激活)这是一篇idea技术相关文章，由全栈君为大家提供，主要知识点是关于2021JetBrains全家桶永久激活码的内容IntelliJ2021最新激活注册码，破解教程可免费永久激活，亲测有效，下面是详细链接哦~https://javaforall.net/100143.html0VOERWDQ5R-eyJsa…

全栈程序员-站长
2022年3月31日
965

发表回复

关注全栈程序员社区公众号