大数据平台 CDH 集群环境搭建
主机配置(所有节点)
搭建 yum 源
cd /etc/yum.repos.d
直接将 cdh.repo 和 CentOS-Base.repo 配置文件拖进该目录 (三台主机都得配置)
进行 yum 关联。
yum clean all
yum list
安装 openssh-clients 实现免密钥登录
注:此处配置之后,后期服务器可以更改密码,否则后期服务器更改密码会出现 CDH 集群故障。
# 三台主机都得安装
yum install openssh-clients -y
hosts 配置:
# 三台主机都得配置
vi /etc/hosts
注:此处 CDHmaster、CDHslave01、CDHslave02 为各主机的主机名。
主节点执行:
ssh-keygen -t dsa
主节点执行:
ssh-copy-id -i /root/.ssh/id_dsa.pub 192.168.88.100
主节点执行:
# 检查是否实现免密登录
ssh 192.168.88.100
安装 ntp 服务器
具体安装配置可以参考 CentOS NTP 时间同步服务安装和局域网同步 ,这里不重复写了。
JDK
三台主机都得安装。上传 Java 包至目录:/home。
mkdir -p /usr/java
cd /home
tar -xvf jdk-8u144-linux-x64.tar.gz
mv jdk1.8.0_144 /usr/java
注: 三台主机上 Java 目录必须完全一致。
环境变量配置:vi /etc/profile
在最后添加以下内容。
export JAVA_HOME=/usr/java/jdk1.8.0_144
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin
重启 profile 文件。
source /etc/profile
CDH 安装(主节点安装)
安装 cloudera-manager
yum -y install cloudera-manager-daemons cloudera-manager-server
JDBC
mkdir /usr/share/java/
cd /usr/share/java/
将 mysql-connector-java-5.1.43.tar.gz 传到 /usr/share/java/
目录下。
# 解压该 tar 包
tar -xvf mysql-connector-java-5.1.43.tar.gz
# 创建软连接
ln -s mysql-connector-java-5.1.43/mysql-connector-java-5.1.43-bin.jar mysql-connector-java.jar
创建好软连接后如图:
初始化数据库
创建 CDH CM 库。
# -h 后面是数据库的IP地址, mysql 表示数据库的类型 cm 表示库名 用户名 密码
/usr/share/cmf/schema/scm_prepare_database.sh -h 192.168.88.113 mysql cm cm 123456
启动
启动 scm-server :
/etc/init.d/cloudera-scm-server start
或者使用
service cloudera-scm-server start
查看启动日志是否报错:
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
安装界面
启动成功后,打开页面:http://ip:7180
就可以打开安装界面(默认密码 admin/admin
)。
注意:下面选择免费版,不要选择试用版(试用版过期后会导致部分功能重新安装)
配置集群安装的存储库
配置 Parcel
JDK 安装选项(如果已经安装过,不要在这里点击安装)
启用单用户模式(注意,此处一定不要选择,否则 agent 启动服务不是 root 用户)
输入集群机器的登录密码,点击继续
集群依赖包安装,安装完后点击“继续”
选择需要安装的套件,点击继续;
注:公司现有生产环境需要安装的套件有:
HDFS(全部节点),Zookeeper(全部节点),cloudera management server(主节点namenode),YARN(全部节点),spark(全部节点,公司用跑链路环路模型),solr(全部节点,公司智能搜索和一键搜功能提供服务)。都是指最后一个节点。
默认,直接继续
开始安装
安装完成后,注意配置报警信息,尽量不要全部抑制。