大数据平台 CDH 集群环境搭建

原创 cdh

主机配置(所有节点)

搭建 yum 源

cd /etc/yum.repos.d

直接将 cdh.repo 和 CentOS-Base.repo 配置文件拖进该目录 (三台主机都得配置)

cdh1.png

进行 yum 关联。

yum clean all
yum list

安装 openssh-clients 实现免密钥登录

注:此处配置之后,后期服务器可以更改密码,否则后期服务器更改密码会出现 CDH 集群故障。

# 三台主机都得安装
yum install openssh-clients -y

hosts 配置:

# 三台主机都得配置
vi /etc/hosts

cdh2.png

注:此处 CDHmaster、CDHslave01、CDHslave02 为各主机的主机名。

主节点执行:

ssh-keygen -t dsa

主节点执行:

ssh-copy-id -i /root/.ssh/id_dsa.pub 192.168.88.100

主节点执行:

# 检查是否实现免密登录
ssh 192.168.88.100

安装 ntp 服务器

具体安装配置可以参考 CentOS NTP 时间同步服务安装和局域网同步 ,这里不重复写了。

JDK

三台主机都得安装。上传 Java 包至目录:/home。

mkdir -p /usr/java
cd /home
tar -xvf jdk-8u144-linux-x64.tar.gz
mv  jdk1.8.0_144  /usr/java

cdh3.png

注: 三台主机上 Java 目录必须完全一致。

cdh4.png

环境变量配置:vi /etc/profile 在最后添加以下内容。

export JAVA_HOME=/usr/java/jdk1.8.0_144
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin

重启 profile 文件。

source  /etc/profile

CDH 安装(主节点安装)

安装 cloudera-manager

yum -y install cloudera-manager-daemons cloudera-manager-server

JDBC

mkdir /usr/share/java/
cd /usr/share/java/

将 mysql-connector-java-5.1.43.tar.gz 传到 /usr/share/java/ 目录下。

# 解压该 tar 包
tar -xvf mysql-connector-java-5.1.43.tar.gz
# 创建软连接
ln -s mysql-connector-java-5.1.43/mysql-connector-java-5.1.43-bin.jar mysql-connector-java.jar

创建好软连接后如图:

cdh5.png

初始化数据库

创建 CDH CM 库。

# -h 后面是数据库的IP地址,   mysql 表示数据库的类型  cm  表示库名  用户名  密码
/usr/share/cmf/schema/scm_prepare_database.sh -h 192.168.88.113 mysql cm cm 123456

cdh6.png

启动

启动 scm-server :

/etc/init.d/cloudera-scm-server start

或者使用

service cloudera-scm-server start

查看启动日志是否报错:

tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

安装界面

启动成功后,打开页面:http://ip:7180 就可以打开安装界面(默认密码 admin/admin)。

cdh7.png

cdh8.png

注意:下面选择免费版,不要选择试用版(试用版过期后会导致部分功能重新安装)

cdh9.png

cdh10.png

cdh11.png

配置集群安装的存储库

cdh12.png

配置 Parcel

cdh13.png

cdh14.png

JDK 安装选项(如果已经安装过,不要在这里点击安装)

cdh15.png

启用单用户模式(注意,此处一定不要选择,否则 agent 启动服务不是 root 用户)

cdh16.png

输入集群机器的登录密码,点击继续

cdh17.png

集群依赖包安装,安装完后点击“继续”

cdh18.png

cdh19.png

cdh20.png

cdh21.png

选择需要安装的套件,点击继续;

cdh22.png

注:公司现有生产环境需要安装的套件有:

HDFS(全部节点),Zookeeper(全部节点),cloudera management server(主节点namenode),YARN(全部节点),spark(全部节点,公司用跑链路环路模型),solr(全部节点,公司智能搜索和一键搜功能提供服务)。都是指最后一个节点。

cdh23.png

cdh24.png

默认,直接继续

cdh25.png

开始安装

cdh26.png

cdh27.png

cdh28.png

安装完成后,注意配置报警信息,尽量不要全部抑制。

如果觉得这对你有用,请随意赞赏,给与作者支持
评论 0
最新评论