1. 全栈程序员必看首页

史上最牛逼的CDH安装部署来了 亲测有效

全栈程序员-站长 • • 未分类 • 阅读 39

cdh安装部署错误史上最低可以试试

大家好，又见面了，我是你们的朋友全栈君。

准备工作：

安装jdk：必须把jdk放在/usr/java/目录下，不然启动cloudera-scm-server会报错

export JAVA_HOME=/usr/java/jdk1.8.0_45

export PATH=${JAVA_HOME}/bin:${ 
   PATH}

1.修改IP

vi /etc/sysconfig/network-scripts/ifcfg-ens33

2.修改主机名

vi /etc/hostname

3.修改hosts

vi /etc/hosts

4.关闭selinux

sudo vi /etc/selinux/config

在这里插入图片描述
5.关闭防火墙

停止防火墙

sudo systemctl stop firewalld

禁止防火墙开机启动

sudo systemctl disable firewalld

查看防火墙状态：sudo systemctl status firewalld
在这里插入图片描述
查看状态2：firewall-cmd --state
在这里插入图片描述
6.时间同步
时间同步：如果没有安装ntp服务，需要在三台机器上下载安装
yum install -y ntp在这里插入图片描述在这里插入图片描述
1.vi /etc/ntp.conf
第一处：去掉restrict
102.168*******************的注释，并且修改网段就是ip的前三段数字
第二处 注释掉两个server开头的东西
server 0.centos.pool.ntp.org
server 1.centos.pool.ntp.org
第三处 去掉两行注释
#local clock
server 127.127.1.0
fudge 127.127.1.0 stratum 10
添加以下内容：
server 127.127.1.0 iburst local clock # 当外部时间不可用时，可使用本地硬件时间
restrict 192.168.70.0 mask 255.255.255.0 nomodify notrap #允许哪些网段的机器来同步时间
#local clock
server 127.127.1.0
fudge 127.127.1.0 stratum 10
在这里插入图片描述
2.修改/etc/sysconfig/ntpd文件
添加下面内容：

SYNC_HWCLOCK=yes
OPTIONS="-u ntp:ntp -p /var/run/ntpd.pid -g"
#OPTIONS="-g"

在这里插入图片描述
3.启动ntpd服务并设置开机自动启动

chkconfig ntpd on
systemctl start ntpd.service

在这里插入图片描述
另外在第二三台机器crontab同步时间（注意：必须要有root权限）

crontab -e

0-59/10 * * * * sudo /usr/sbin/ntpdate www.cdh1.com
在这里插入图片描述
在这里插入图片描述

注意：1.启动第一台机器的ntpd服务即可，其他两台负责同步
2.其他两台机器停止该服务

systemctl stop ntpd
systemctl disable ntpd

在这里插入图片描述
7.修改文件句柄数
修改/etc/security/limits.conf，在文件最后添加两行

* soft nofile 65535
* hard nofile 65535

修改之后需要重启服务器，出现以下数字便是设置成功在这里插入图片描述
核心工作
1.将所需文件上传到服务器上在这里插入图片描述
2.安装MySQL
解压包

tar -zxvf mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz

建库

create database cmf DEFAULT CHARACTER SET utf8;
create database amon DEFAULT CHARACTER SET utf8;
grant all on cmf.* TO 'cmf'@'%' IDENTIFIED BY 'www.cdh2.com';
grant all on amon.* TO 'amon'@'%' IDENTIFIED BY 'www.cdh2.com';
flush privileges;

在这里插入图片描述
将mysql驱动jar放进第二台的/usr/share/java/下
在这里插入图片描述
sudo scp mysql-connector-java.jar www.cdh1.com:/usr/share/java在这里插入图片描述
将CM包解压到对应目录下：

mkdir cloudera-manager
tar -zxvf cm6.3.1-redhat7.tar.gz -C cloudera-manager/

在这里插入图片描述
到对应目录下开始安装rpm包在这里插入图片描述
在第一台机器上安装daemons和server、agent

sudo rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
sudo rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
sudo rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force

在这里插入图片描述
将这两个文件拷贝到其他机器上

sudo scp cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm www.cdh2.com:/opt/modules/
sudo scp cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm www.cdh3.com:/opt/modules/

在这里插入图片描述
其他两台上安装daemons和agent

sudo rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
sudo rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force

在这里插入图片描述
所有节点修改agent的配置，指向server的节点www.cdh1.com

sed -i "s/server_host=localhost/server_host=www.cdh1.com/g" /etc/cloudera-scm-agen
t/config.ini
sudo vi /etc/cloudera-scm-agent/config.ini

在这里插入图片描述
主节点修改server的配置:

sudo vi /etc/cloudera-scm-server/db.properties

com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=www.cdh2.com
com.cloudera.cmf.db.name=cmf
com.cloudera.cmf.db.user=cmf
com.cloudera.cmf.db.password=www.cdh2.com
com.cloudera.cmf.db.setupType=EXTERNAL

节点部署离线parcel源
1.安装httpd服务
yum install -y httpd在这里插入图片描述
2.部署离线parcel源
sudo mkdir -p /var/www/html/cdh6_parcel在这里插入图片描述
将以上是哪个文件放入cdh6_parcel目录下

sudo cp CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 manifest.json /var/www/html/cdh6_parcel/

并且重命名sha文件
sudo mv CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha在这里插入图片描述
启动httpd

systemctl start httpd
systemctl status httpd

在这里插入图片描述
访问网址：http://www.cdh1.com/cdh6_parcel/ 出现以下画面即可在这里插入图片描述
开始最后一步启动服务，启动cloudera-scm-server、cloudera-scm-agent
启动server

systemctl start cloudera-scm-server

查看⽇志:

cd /var/log/cloudera-scm-server/

$ ll
total 20
-rw-r—– 1 cloudera-scm cloudera-scm 18265 Oct 23 15:37 cloudera-scm-server.log
-rw-r—– 1 cloudera-scm cloudera-scm 0 Oct 23 15:37 cmf-server-nio.log
-rw-r—– 1 cloudera-scm cloudera-scm 0 Oct 23 15:37 cmf-server-perf.log
$ tailf cloudera-scm-server.log
出现7180端⼝，表明是成功的
启动agent

systemctl start cloudera-scm-agent

查看⽇志:
cd /var/log/cloudera-scm-agent/在这里插入图片描述
访问www.cdh1.com:7180界面 账号密码都为admin
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
注意：下面远程parcel为自己配置的httpd的那个地址在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
解决下面问题：在这里插入图片描述
必须使用root权限用户执行
a.已启用透明大页面压缩，可能会导致重大性能问题。请运行“echo never > /sys/kernel/mm/transparent_hugepage/defrag”和“echo never > /sys/kernel/mm/transparent_hugepage/enabled”以禁用此设置，然后将同一命令添加到 /etc/rc.local 等初始化脚本中，以便在系统重启时予以设置。以下主机将受到影响: 查看详细信息

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

b.Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 30。使用
sysctl 命令在运行时更改该设置并编辑
/etc/sysctl.conf，以在重启后保存该设置。您可以继续进行安装，但 Cloudera Manager 可能会报告您的主机由于交换而运行状况不良。以下主机将受到影响： 查看详细信息

临时设置，让CM知道目前修改了

##设置为10，重启后又还原

echo 10 > /proc/sys/vm/swappiness

永久设置步骤，需要重启服务器，不然CM识别不了：
vi /etc/sysctl.conf中添加vm.swappiness=10
** 查找tuned配置，直接修改，进入tuned目录

cd /usr/lib/tuned/

##查找包含的所在文件路径

grep "vm.swappiness" * -R

##修改参数vm.swappiness=10

vi latency-performance/tuned.conf

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

两个问题解决了

在这里插入图片描述

注意：下面这个机器选择mysql所在的机器

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
注意namenode的webui端口是9870，因为目前hadoop版本是3.x在这里插入图片描述
在这里插入图片描述
停止命令：

service cloudera-scm-server stop
service cloudera-scm-agent stop

在这里插入图片描述

注意：其他两台机器也要开启ntpd服务 并且与第一台机器同步，不然CDH会认为其他两台没开ntpd服务，而给与警告

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/124631.html原文链接：https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长
0 0


相关推荐

  • Spark Streaming Join

    Spark Streaming Join

    Spark Streaming Join多数据源Join思路多数据源Join大致有以下三种思路：数据源端Join，如Android/IOS客户端在上报用户行为数据时就获取并带上用户基础信息。计算引擎上Join,如用SparkStreaming、Flink做Join。结果端Join，如用HBase/ES做Join,Join键做Rowkey/_id，各字段分别写入列簇、列或field。三种思路各有优劣，使用时注意…

    全栈程序员-站长的头像 全栈程序员-站长
    2022年6月30日
    18
  • Canalyzer使用介绍

    Canalyzer使用介绍

    Canalyzer使用介绍Canalyzer使用介绍什么是canalyzer？简单来说就是解析汽车can报文，可收可发，可记录可回播报文。汽车行业开发，测试，路试使用居多。下面主要分界面介绍，canalyzer设置，离线回放，在线回放等四大主要且常用功能去说明。一.Canlayzer界面介绍打开canalyzer工程左上方闪电标志是启动和暂停作用。panel是可用于添加panel界面，有助于调试。analysis&stimulation主菜单下有以下子菜单1.measurementset

    全栈程序员-站长的头像 全栈程序员-站长
    2022年6月15日
    76
  • vue双向绑定失效_vue热更新失效

    vue双向绑定失效_vue热更新失效

    vue双向绑定失效_vue热更新失效为什么会失效呢首先vue数据双向绑定是通过数据劫持结合发布者-订阅者模式的方式来实现的实现方式是get和set方法然后是通过Object.defineProperty()来实现数据劫持的。然后呢要是，实现数据的双向绑定，首先要对数据进行劫持监听，因为写的代码没有被监听到，所以只能手动setthis.$set(obj,key,value)查找的资料：1.实现一个监听器Observer，用来劫持并监听所有属性，如果有变动的，就通知订阅者。2.实现一个订阅者Watche..

    全栈程序员-站长的头像 全栈程序员-站长
    2025年11月14日
    3
  • 射频RC522一些知识「建议收藏」

    射频RC522一些知识「建议收藏」

    射频RC522一些知识「建议收藏」我的测试为RC522的读写模块和S50的射频卡：一.S50的射频卡有如下特点：1. 分为16个扇区，每个扇区为4块，每块16个字节,以块为存取单位2. 每个扇区有独立的一组密码及访问控制3. 每张卡有唯一序列号，为32位 二.射频卡的介绍1、M1卡分为16个扇区，每个扇区由4块（块0、块1、块2、块3）组成，（我们也将16个扇区的64个块按绝对地址编号为0~63，

    全栈程序员-站长的头像 全栈程序员-站长
    2022年7月26日
    19
  • iwara_php,iwara里版mmd怎么下载_iwara里版mmd资源下载方法_软件侠下载站[通俗易懂]

    iwara_php,iwara里版mmd怎么下载_iwara里版mmd资源下载方法_软件侠下载站[通俗易懂]

    iwara_php,iwara里版mmd怎么下载_iwara里版mmd资源下载方法_软件侠下载站[通俗易懂]很多朋友发现iwara里版的一些mmd无法下载，下面小编就给大家带来iwara里版的mmd下载教程，这教程主要是针对T站没有改版以前上传的视频，改版以后上传的视频都是能直接下载的例：http://ecchi.iwara.tv/videos/voazs0aaulqvl67搜狗浏览器读取源代码文件页面view-source:http://ecchi.iwara.tv/videos/voazs0aau…

    全栈程序员-站长的头像 全栈程序员-站长
    2022年10月2日
    3
  • 精馏装置流程图_枪的构造原理

    精馏装置流程图_枪的构造原理

    精馏装置流程图_枪的构造原理1.什么是CA证书。看过一些博客，写的比较形象具体。◇普通的介绍信想必大伙儿都听说过介绍信的例子吧？假设A公司的张三先生要到B公司去拜访，但是B公司的所有人都不认识他，他咋办捏？常

    全栈程序员-站长的头像 全栈程序员-站长
    2022年8月3日
    6

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号