【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

大家好,又见面了,我是全栈君,今天给大家准备了Idea注册码。

结束historyserver例如,下面的命令可以看到:

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

第四步:验证Hadoop分布式集群

首先在hdfs文件系统上创建两个文件夹。创建步骤例如以下所看到的:

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount样例的数据文件,程序执行的结果输出到/output/wordcount文件夹中。透过Web控制能够发现我们成功创建了两个文件夹:

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

接下来将本地文件的数据上传到HDFS目录中:

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

透过Web控制能够发现我们成功上传了文件:

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

也可通过hadoop的hdfs命令在控制命令终端查看信息:

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

执行Hadoop自带的WordCount样例。执行例如以下命令:

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

执行步骤例如以下:

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

版权声明:本文博主原创文章,博客,未经同意不得转载。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/117121.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 基于Gitflow分支模型自动化Java项目工作流

    基于Gitflow分支模型自动化Java项目工作流

    2021年7月1日
    75
  • 卡尔曼滤波算法详细推导

    卡尔曼滤波算法详细推导一、预备知识1、协方差矩阵是一个维列向量,是的期望,协方差矩阵为可以看出协方差矩阵都是对称矩阵且是半正定的协方差矩阵的迹是的均方误差2、用到的两个矩阵微分公式公式一:公式二:若是对称矩阵,则下式成立…

    2022年6月14日
    47
  • FTP服务器搭建基础工具之二:FlashFXP V5.0.0.3720使用教程

    FTP服务器搭建基础工具之二:FlashFXP V5.0.0.3720使用教程FlashFXP 使用其实就是为了实现文件的上传和下载 它要结合

    2025年9月3日
    2
  • 电容分类和作用_电容的识别

    电容分类和作用_电容的识别硬件基础知识—电容分类智能硬件和物联网产品上,工作电压不高,其常用的电容根据不同的工艺,主要分为陶瓷电容、电解电容和钽电容。↑陶瓷电容的结构图↑电解电容的结构图不管是什么电容,都是两组金属片夹着一层介质。陶瓷电容把金属片交错摆放,电解电容把金属片卷成柱状。↑片状陶瓷电容↑贴片陶瓷电容陶瓷电容,MultilayerCeramicCapacitor(MLCC),陶瓷电容的电介质是陶瓷,所以叫做陶瓷电容。陶瓷电容容值小、电压高、尺寸小、高频性能好、不区分正.

    2022年8月22日
    7
  • Arch 安装 deb

    Arch 安装 deb安装debtapyaourt-Sdebtap也应该安装bash,binutils,pkgfile和fakeroot依赖包。创建/更新pkgfile和debtap数据库。sudodebtap-u转换deb包debtap***.deb安装sudopacman-U<package-name>…

    2022年5月4日
    202
  • centos7.4安装docker_centos安装python3.6

    centos7.4安装docker_centos安装python3.6前言当我们在一台电脑上搭建了python3.6的环境,下次换台电脑,又得重新搭建一次,设置环境变量等操作。好不容易安装好,一会提示pip不是内部或外部命令,一会又提示pip:commandno

    2022年7月28日
    12

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号