香香公举

2018-11-23 · 1893 次阅读

大数据平台 CDH 集群环境搭建

原创 cdh

主机配置（所有节点）

搭建 yum 源

cd /etc/yum.repos.d

直接将 cdh.repo 和 CentOS-Base.repo 配置文件拖进该目录（三台主机都得配置）

进行 yum 关联。

yum clean all
yum list

安装 openssh-clients 实现免密钥登录

注：此处配置之后，后期服务器可以更改密码，否则后期服务器更改密码会出现 CDH 集群故障。

# 三台主机都得安装
yum install openssh-clients -y

hosts 配置：

# 三台主机都得配置
vi /etc/hosts

注：此处 CDHmaster、CDHslave01、CDHslave02 为各主机的主机名。

主节点执行：

ssh-keygen -t dsa

主节点执行：

ssh-copy-id -i /root/.ssh/id_dsa.pub 192.168.88.100

主节点执行：

# 检查是否实现免密登录
ssh 192.168.88.100

安装 ntp 服务器

具体安装配置可以参考 CentOS NTP 时间同步服务安装和局域网同步，这里不重复写了。

JDK

三台主机都得安装。上传 Java 包至目录：/home。

mkdir -p /usr/java
cd /home
tar -xvf jdk-8u144-linux-x64.tar.gz
mv  jdk1.8.0_144  /usr/java

注：三台主机上 Java 目录必须完全一致。

环境变量配置：vi /etc/profile 在最后添加以下内容。

export JAVA_HOME=/usr/java/jdk1.8.0_144
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin

重启 profile 文件。

source  /etc/profile

CDH 安装（主节点安装）

安装 cloudera-manager

yum -y install cloudera-manager-daemons cloudera-manager-server

JDBC

mkdir /usr/share/java/
cd /usr/share/java/

将 mysql-connector-java-5.1.43.tar.gz 传到 /usr/share/java/ 目录下。

# 解压该 tar 包
tar -xvf mysql-connector-java-5.1.43.tar.gz
# 创建软连接
ln -s mysql-connector-java-5.1.43/mysql-connector-java-5.1.43-bin.jar mysql-connector-java.jar

创建好软连接后如图：

初始化数据库

创建 CDH CM 库。

# -h 后面是数据库的IP地址，   mysql 表示数据库的类型  cm  表示库名  用户名  密码
/usr/share/cmf/schema/scm_prepare_database.sh -h 192.168.88.113 mysql cm cm 123456

启动

启动 scm-server ：

/etc/init.d/cloudera-scm-server start

或者使用

service cloudera-scm-server start

查看启动日志是否报错：

tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

安装界面

启动成功后，打开页面：http://ip:7180 就可以打开安装界面（默认密码 admin/admin）。

注意：下面选择免费版，不要选择试用版（试用版过期后会导致部分功能重新安装）

配置集群安装的存储库

配置 Parcel

JDK 安装选项（如果已经安装过，不要在这里点击安装）

启用单用户模式（注意，此处一定不要选择，否则 agent 启动服务不是 root 用户）

输入集群机器的登录密码，点击继续

集群依赖包安装，安装完后点击“继续”

选择需要安装的套件，点击继续；

注：公司现有生产环境需要安装的套件有:

HDFS(全部节点)，Zookeeper（全部节点），cloudera management server（主节点namenode），YARN（全部节点），spark（全部节点，公司用跑链路环路模型），solr（全部节点，公司智能搜索和一键搜功能提供服务）。都是指最后一个节点。

默认，直接继续

开始安装

安装完成后，注意配置报警信息，尽量不要全部抑制。