Cloudera Manager 5和CDH5离线安装,CDH-5.7.1

参考自:http://blog.csdn.net/jdplus/article/details/45920733

进行了大范围修改和完善


  • 文件下载

CDH (Cloudera’s Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。 
Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。 
相关包的下载地址: 
Cloudera Manager地址:http://archive.cloudera.com/cm5/cm/5/ 

下载对应的文件,我下载的是:cloudera-manager-el6-cm5.7.1_x86_64.tar.gz
CDH安装包地址:http://archive.cloudera.com/cdh5/parcels
由于我们的操作系统为CentOS6.5,需要下载以下文件,找到对应的版本: 
CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel 
CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1
manifest.json 
准备JDBC,等下连接mysql会用到:http://download.softagency.net/MySQL/Downloads/Connector-J/

算上jdbc一共是5个文件



强烈建议:有条件的话,以下所有操作都在root下完成,不要问我为什么知道的。

否侧,出现错误,10个有9个都是目录权限问题,根据log查错即可。


  • 准备工作:系统环境搭建

如果使用虚拟机安装的话,每个节点至少保证硬盘空间20G,推荐30G以上。

内存,master至少6G,推荐8G以上,slave至少4G

以下操作均需要(root)管理员权限 
1.网络配置(所有节点) 
修改主机名:vim /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=node1
GATEWAY=192.168.3.253

修改ip与主机名的对应关系:vim /etc/hosts

192.168.3.201   node1
192.168.3.202   node2
192.168.3.203   node3
192.168.3.204   node4

修改网络配置

vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"
BOOTPROTO=none
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="038b2dab-5902-46d7-9d4c-2c0fb42599b9"
HWADDR=00:0C:29:50:84:9A
IPADDR=192.168.3.201
PREFIX=24
GATEWAY=192.168.3.253
DNS1=192.168.1.242
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
NAME="System eth0"
LAST_CONNECT=1468601480


2.打通SSH,设置ssh无密码登陆(所有节点) 

执行ssh-keygen -t rsa,一路回车,生成无密码的密钥对。 
将公钥添加到认证文件中:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys,并设置authorized_keys的访问权限:chmod 600 ~/.ssh/authorized_keys。 
通过scp命令将各节点的认证文件拷贝到所有其他节点使得各节点能够相互访问。

 
3.安装Oracle的Java(所有节点) 
CentOS自带OpenJdk,不过运行CDH5需要使用Oracle的JDK,需要Java 7的支持。 
卸载自带的OpenJdk,使用rpm -qa | grep java查询java相关的包,使用rpm -e --nodeps 包名卸载之。 
去Oracle的官网下载jdk的rpm安装包,并使用rpm -ivh 包名安装,最后配置环境变量。 

在 etc/profile中,

vi /etc/profile

添加如下(使用rpm安装的java在/usr/java/jdk1.8XXXX):

export JAVA_HOME=/usr/java/jdk1.8.0_91
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar


然后使环境变量生效:

source /etc/profile



4.安装配置MySql(主节点) 

# mysql          客户端程序

# mysql-server    服务端程序

# mysql-devel    开发设计的库

[root@localhost ~]# yum -y install mysql mysql-server mysql-devel

 

# 开机启动

[root@localhost ~]# chkconfig mysqld on

# 启动mysqld服务

[root@localhost ~]# service mysqld start

# 进行一些安全性配置

[root@localhost ~]# /usr/bin/mysql_secure_installation

注意:这里远程连接mysql可能会出现权限报错,需要修改user表,具体方法请自行搜索


mysql -u root -p

xxxxxx

进入mysql命令行,创建以下数据库:

#hive

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;、

#activity monitor

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
#activity oozie 如果需要的话

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;


设置root授权访问以上所有的数据库:

#授权root用户在主节点拥有所有数据库的访问权限

grant all privileges on *.* to 'root'@'node1' identified by 'xxxx' with grant option;

flush privileges;


5.关闭防火墙和SELinux 

注意: 需要在所有的节点上执行,因为涉及到的端口太多了,临时关闭防火墙是为了安装起来更方便,安装完毕后可以根据需要设置防火墙策略,保证集群安全。 
关闭防火墙:

service iptables stop (临时关闭)  

chkconfig iptables off (重启后生效)


关闭SELINUX(实际安装过程中发现没有关闭也是可以的,不知道会不会有问题,还需进一步进行验证):

set enforce 0 (临时生效)  

修改 vi /etc/selinux/config 下的 

SELINUX=disabled (重启后永久生效)

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of these two values:
#     targeted - Targeted processes are protected,
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted<span>
</span>


6.所有节点配置NTP服务 (这一步暂时可以跳过,但是在集群启动以后,会提示时间不同步)

集群中所有主机必须保持时间同步,如果时间相差较大会引起各种问题。 具体思路如下: 
master节点作为ntp服务器与外界对时中心同步时间,随后对所有datanode节点提供时间同步服务。 
所有datanode节点以master节点为基础同步时间。 
所有节点安装相关组件:yum install ntp

启动 ntp:

$ service ntpd start

设置开机启动:

$ chkconfig ntpd on

检查是否设置成功:chkconfig --list ntpd其中2-5为on状态就代表成功。 

可以通过以下命令先进行时间同步:

ntpdate us.pool.ntp.org
主节点配置(master节点)

vi /etc/ntp.conf 
ntp服务只有一个配置文件,配置好了就OK。 这里只给出有用的配置,不需要的配置都用#注掉,这里就不在给出(大部分把#去掉即可,不需要添加):

driftfile /var/lib/ntp/drift
# Permit time synchronization with our time source, but do not
# permit the source to query or modify the service on this system.
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
# Permit all access over the loopback interface.  This could
# be tightened as well, but to do so would effect some of
# the administrative functions.
restrict 127.0.0.1
restrict -6 ::1
# Hosts on local network are less restricted.
restrict 192.168.3.0 mask 255.255.255.0 nomodify notrap
# Use public servers from the pool.ntp.org project.
# Please consider joining the pool (http://www.pool.ntp.org/join.html).
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst

配置文件完成,保存退出,启动服务,执行如下命令:service ntpd start 

检查是否成功,用ntpstat命令查看同步状态,出现以下状态代表启动成功:

synchronisedto NTP server () at stratum 2time correct towithin74 mspolling server every 128 s

如果出现异常请等待几分钟,一般等待5-10分钟才能同步。 

在其他节点,直接运行

ntpdate -u node1 

(主节点ntp服务器) 即可,和node1同步

这里可能出现同步失败的情况,请不要着急,一般是本地的ntp服务器还没有正常启动,一般需要等待5-10分钟才可以正常同步。启动服务:service ntpd start 
因为是连接内网,这次启动等待的时间会比master节点快一些,但是也需要耐心等待一会儿。

  • 开始安装Cloudera Manager

安装Cloudera Manager Server 和Agent 
主节点解压安装 
cloudera manager的目录默认位置在/opt下,解压:tar xzvf cloudera-manager*.tar.gz将解压后的cm-5.7.1和cloudera目录放到/opt目录下。 
为Cloudera Manager 5建立数据库 
首先需要去MySql的官网下载JDBC驱动,http://dev.mysql.com/downloads/connector/j/,解压后,找到mysql-connector-java-5.1.35-bin.jar,放到/opt/cm-5.7.1/share/cmf/lib/中。 
在主节点初始化CM5的数据库:

/opt/cm-5.7.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hnode1 -uroot -p123123 --scm-host node1 scm scm scm


在这里后面的参数分别是:数据库类型 数据库名称 数据库主机名 数据库用户名 密码 --scm-host cmserver主机名 scm scm scm


Agent配置 

修改/opt/cm-5.7.1/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。 
同步Agent到其他所有节点:

scp -r /opt/cm-5.7.1 root@node2:/opt/

在所有节点创建cloudera-scm用户

useradd --system --home=/opt/cm-5.7.1/run/cloudera-scm-server/ --no -create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm


准备Parcels,用以安装CDH5 

将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中(parcel-repo需要手动创建)。 
相关的文件如下:

CDH-5.7.1-1.cdh5.7.1.p0.5-el6.parcel

CDH-5.7.1-1.cdh5.7.1.p0.5-el6.parcel.sha1

manifest.json


最后将CDH-5.7.1-1.cdh5.7.1.p0.5-el6.parcel.sha1,重命名为CDH-5.7.1-1.cdh5.7.1.p0.5-el6.parcel.sha

这点必须注意,否则,系统会重新下载CDH-5.7.1-1.cdh5.7.1.p0.5-el6.parcel.sha1文件。 

相关启动脚本 
通过/opt/cm-5.7.1/etc/init.d/cloudera-scm-server start启动服务端。 
通过/opt/cm-5.7.1/etc/init.d/cloudera-scm-agent start启动Agent服务。 (所有节点都要启动Agent服务,包括服务端)
我们启动的其实是个service脚本,需要停止服务将以上的start参数改为stop就可以了,重启是restart。

安装到此处,可以考虑备份节点,为将来的节点拓展做准备。 




  • CDH5的安装配和集群配置
Cloudera Manager Server和Agent都启动以后,就可以进行CDH5的安装配置了。 
这时可以通过浏览器访问主节点的7180端口测试一下了(由于CM Server的启动需要花点时间,这里可能要等待一会才能访问成果,可能需要3-5分钟),默认的用户名和密码均为admin

这里写图片描述 
这里写图片描述 
这里写图片描述

各个Agent节点正常启动后,可以在当前管理的主机列表中看到对应的节点。选择要安装的节点,点继续。


接下来,出现以下包名,说明本地Parcel包配置无误,直接点继续就可以了。


如果此处发现不到parcel包,就重启所有节点的agent服务,和master的server服务。


点击,继续,如果配置本地Parcel包无误,那么下图中的已下载,应该是瞬间就完成了,然后就是耐心等待分配过程就行了,这个过程的速度就取决于节点之间的传输速度。



当前受管

假如在安装的时候出现问题,如网络连接中断,机器死机,继续安装的时候可能会出现查询不到机器,并且根据ip搜索机器的时候,出现“当前受管”

的状态为“是”,安装失败的机器不能再选择了。


先停止所有服务。清除数据库。

1> 删除Agent节点的UUID 

      # rm -rf /opt/cm-5.7.1/lib/cloudera-scm-agent/*

2>  清空主节点CM数据库

      进入主节点的Mysql数据库,然后drop database cm;

3> 在主节点上重新初始化CM数据库

     # /opt/cm-5.7.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm


等待一下,连接访问master:7180即可

所有节点部署完成



接下来是主机检查,可能会遇到以下问题: 


Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装,但可能会遇到问题,Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响: 
通过echo 10 > /proc/sys/vm/swappiness即可解决。(注意切换到root)

已启用透明大页面压缩,可能会导致重大性能问题。请运行“echo never > /sys/kernel/mm/transparent_hugepage/defrag”以禁用此设置,然后将同一命令添加到 /etc/rc.local 等初始脚本中,以便在系统重启时予以设置。以下主机将受到影响


这里写图片描述

接下来是选择安装服务:

这里写图片描述

服务配置,一般情况下保持默认就可以了(Cloudera Manager会根据机器的配置自动进行配置,如果需要特殊调整,自行进行设置就可以了):

这里写图片描述

接下来是数据库的设置,检查通过后就可以进行下一步的操作了:


此处可能需要新建oozie的数据库


下面是集群设置的审查页面,全部保持默认配置即可:

这里写图片描述

这里地方可以考虑修改hdfs的存储文件夹,另外如果需要自己设定文件夹,一定要先mkdir文件夹,否侧hdfs会无法启动,并且报错文件夹不存在,并确保访问权限



终于到安装各个服务的地方了,注意,这里安装Hive,或oozie的时候可能会报错,因为我们使用了MySql作为hive的元数据存储,hive默认没有带mysql的驱动,通过以下命令拷贝一个就行了:

cp /opt/cm-5.7.1/share/cmf/lib/mysql-connector-java-*-bin.jar /opt/cloudera/parcels/CDH-5.7.1-1.cdh5.7.1.p0.11/lib/hive/lib/

cp /opt/cm-5.7.1/share/cmf/lib/mysql-connector-java-*-bin.jar /opt/cloudera/parcels/CDH-5.7.1-1.cdh5.7.1.p0.11/lib/oozie/lib/

cp /opt/cm-5.7.1/share/cmf/lib/mysql-connector-java-*-bin.jar /var/lib/oozie/




接下静静地等待即可。

这里写图片描述

安装完成后,就可以进入集群界面看一下集群的当前状况了。 
这里可能会出现无法发出查询:对 Service Monitor 的请求超时的错误提示,如果各个组件安装没有问题,一般是因为服务器比较卡导致的,过一会刷新一下页面就好了,根据实际情况调整配置即可:


另外如果想添加新的主机,必须要先启动新主机上的agent服务,否则新主机不能被发现,要重新下载cm-agent,很麻烦。安装新的节点以后,记得运行"部署客户端"命令。





Q&A:

1.在我部署完成以后,会出现大量问题,其中有大量警告,是由于var/log/*的权限问题造成的。

在master上,运行chmod -R 777对应的文件夹修改权限即可。


2.出现oozie和hive不能成功启动

一般是因为缺少jdbc,复制到相应位置即可,参照原文。或者是由于mysql数据库中的表造成的,可能是表已经存在了。


3.service monitor和host monitor都无法启动

一般也是由于var/log/*的权限问题造成的。


4.service monitor和host monitor正常启动,但是无法获取到图表数据

注销admin重新进入,或者等一下


5.hdfs不能正常启动

可能是因为/dfs的权限原因,提高/目录的权限


调整相关阈值后,基本正常运行。


本页内容版权归属为原作者,如有侵犯您的权益,请通知我们删除。
Spark可以通过三种方式配置系统: 通过SparkConf对象, 或者Java系统属性配置Spark的应用参数 通过每个节点上的conf/spark-env.sh脚本为每台机器配置环境变量 通过log4j.properties配置日志属性 Spark属性 Spark属性可以为每个应用分别进行配置,这些属性可以直接通过SparkConf设定,也可以通过set方法设定相关属性。 下面展示了在本地机使用两个线程并发执行的配置代码: val conf = new SparkConf() .setMaster(
云端基于Docker的微服务与持续交付实践笔记,是基于易立老师在阿里巴巴首届在线技术峰会上《云端基于Docker的微服务与持续交付实践》总结而出的。 本次主要讲了什么? Docker Swarm Docker Swarm mode 微服务支持(Docker集群架构体系) Docker的发展趋势和前沿成果 在Docker技术方面还是很佩服大牛的,所以赶紧写下笔记,追随大神的脚步。 阿里云资深专家易立,技术就不说了,他比其他直播间硬生生多讲了半个多点,于情于理还是万分感谢本次分享的(可惜devOps没时间讲了
前面我们已经部署好了一个Docker Swarm集群环境,接下来,我们就对Swarm集群的相关管理进行简单介绍。 集群调度策略 既然是集群,就是有一个调度策略,也就是该集群包含那么多子节点,我到底是设置一个什么样的策略来进行分配呢? 我们查看Docker官方文档可以看到Swarm的集群调度包含三种策略: To choose a ranking strategy, pass the  --strategy  flag and a strategy value to the  swarm manage  co

docker4dotnet #2 容器化主机 - 2016-07-21 14:07:47

.NET 猿自从认识了小鲸鱼,感觉功力大增。上篇 《docker4dotnet #1 前世今生世界你好》 中给大家介绍了如何在Windows上面配置Docker for Windows和Docker Tools for Visual Studio来使用docker协助.NET Core应用的开发,这篇我们来看看如何创建和管理容器化主机。 所谓容器化主机Dockerized Host,就是安装了docker engine的主机,可以使用docker工具进行管理。使用docker来协助开发,我们至少需要本地和

Oozie安装总结 - 2016-07-20 18:07:35

一、使用CM添加服务的方式安装Oozie 如果在创建Oozie数据库时失败,且提示数据库已存在,如下图,则可能是之前已经安装过Oozie,没有卸载干净,需要手动将Oozie服务器数据目录删掉(oozie/data部分),见图二                                                                            (图一)                                                              

kafka本地单机安装部署 - 2016-07-20 18:07:35

kafka是一种高吞吐量的分布式发布订阅消息系统,这几天要上kafka,只在其中的一个节点使用,结合具体的项目实践在此将kafka的本地安装部署流程记录下来与各位同仁分享交流。 准备工作: 上述的文件除了jdk以外均放在/usr/local/kafka目录下。 1、安装jdk,kafka的使用要用到jdk 首先检查有无jdk:java -version cd /usr/local/hadoop(本例中我是将jdk的安装包放到hadoop文件夹下,各位可以依据自己情况) http://www.oracle.

Swift 存储目录 - 2016-07-20 17:07:03

  在 Storage node 上运行着 Linux系统并 使用了 XFS文件系统 ,逻辑上使用一致性哈希算法将固定总数的 partition 映射到每个 Storage node 上,每个 Data 也使用同样的哈希算法映射到 Partition 上,其层次结构如下图所示: Figure1:Stoage node hierachy     以我们的一台 storage node sws51 为例,该 device 的文件路径挂载到 /srv/node/sdc ,目录结构如下所示: root@sws51
翻译:@胡杨(superhy199148@hotmail.com) @胥可(feitongxiaoke@gmail.com) 校对调整: 寒小阳 龙心尘 时间:2016年7月 出处: http://blog.csdn.net/han_xiaoyang/article/details/51932536 http://blog.csdn.net/longxinchen_ml/article/details/51940065 说明:本文为斯坦福大学CS224d课程的中文版内容笔记,已得到斯坦福大学课程@Rich

三分钟部署Laxcus大数据系统 - 2016-07-20 17:07:47

Laxcus是Laxcus大数据实验室历时五年,全体系自主设计研发的国内首套大数据管理系统。能够支撑百万台级计算机节点,提供EB量级存储和计算能力,兼容SQL和关系数据库。 最新的2.x版本已经全面覆盖和集成当前大数据主流技术和功能 ,并投入到国内多个超算项目中使用。Laxcus同时也保持着使用和部署的极简性,所有对计算机略有认识的人都可以很容易掌握它。下面演示在一台Linux计算机上部署Laxcus demo系统的过程。根据我们的测试,这个部署过程大约需要三分钟,或者您熟悉Linux系统 ,也许不需要这

Devstack多节点部署实验 - 2016-07-20 14:07:52

本文为博主翻译文章,转载请注明出处Bob Hou: http://blog.csdn.net/minxihou 这是个在多物理服务器上部署openstack例子: 1 先决条件Linux网络 1.1 最小化安装系统 你需要一个刚安装好的Linux系统。你可以直接下载最小化的Ubuntu版本,devstack会下载安装所有额外的依赖关系。同样也支持网络安装Fedora,Centos/RHEL.安装几个包用于引导程序配置。 apt -get install -y git sudo || yum install