安装Hadoop
介绍：Hadoop是一个开源软件框架，用于在商用硬件集群上存储数据和运行应用程序。它为任何类型的数据提供海量存储，巨大的处理能力以及处理几乎无限的并发任务或作业的能力。
https://blog.csdn.net/tototuzuoquan/article/details/ （安装教程）
第一步:前期需要准备的材料:
(https://blog.csdn.net/mr_yuntuo/article/details/）
第二步:安装包及环境变量配置
①解压hadoop-3.0.0安装包到本地路径
出错：
解决：系统变量里查看JAVA_HOME，发现路径是C:\Program Files，其中包含了空格，因此hadoop报错。所以要把JDK移动到另一个不包含空格名称的文件夹下，例如C:\Java\jdk1.8.0_201
第三步:修改hadoop配置文件
文件位置：hadoop-3.0.0\etc\hadoop\XXX
1.配置core-site.xml
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration> 2.配置hdfs-site.xml
<configuration> <!-- 这个参数设置为1，因为是单机版hadoop --> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/D:/Installed/hadoop-3.0.0/data/namenode</value> </property> <property> <name>fs.checkpoint.dir</name> <value>/D:/Installed/hadoop-3.0.0/data/snn</value> </property> <property> <name>fs.checkpoint.edits.dir</name> <value>/D:/Installed/hadoop-3.0.0/data/snn</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/D:/Installed/hadoop-3.0.0/data/datanode</value> </property> </configuration> 3.配置mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> 4.配置yarn-site.xml
<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration> 5.运行hadoop
以管理员方式打开cmd，运行hadoop：
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/202432.html原文链接：https://javaforall.net
