更新時(shí)間:2021-09-10 來(lái)源:黑馬程序員 瀏覽量:
對(duì) Kerberos 有了基本了解后,我們開(kāi)始進(jìn)入安裝部署的步驟,首先是先準(zhǔn)備基本的服務(wù)器環(huán)境。
本次課程基于使用的軟件環(huán)境如下:
CDH 5.14.4
hadoop2.6.0-cdh5.14.4
hive1.1.1-cdh5.14.4
CentOS 6.9 x64 操作系統(tǒng)
JDK 1.8 and jdk1.7(for maven)
apache-maven-3.0.5
Kerberos 使用在線yum庫(kù)提供的最新版本
除操作系統(tǒng)外,所有需要用到的安裝包,在課件內(nèi)都有提供,同學(xué)們可以直接使用。本次課程使用4臺(tái)服務(wù)器來(lái)進(jìn)行演示,分別是:
主機(jī)名cdh0(FQDN: cdh0.itcast.cn):hadoop的master節(jié)點(diǎn),部署 namenode ,
resourcemanager , hive server2 , historyserver 等master角色 以及 Kerberos 的 客戶端
主機(jī)名cdh1(FQDN: cdh1.itcast.cn):hadoop的slave節(jié)點(diǎn),部署 datanode , nodemanager 等slave角色 以及 Kerberos 的 客戶端
主機(jī)名CDH2(FQDN: cdh2.itcast.cn):同CDH1
主機(jī)名CDH3(FQDN: cdh3.itcast.cn):Kerberos的server端,部署 Kerberos server
硬件配置:
CDH0、CDH1、CDH2均為2核心3GB內(nèi)存配置,CDH3為1核心1GB內(nèi)存
同學(xué)們可以根據(jù)自己主機(jī)的配置情況做相應(yīng)增刪
其中slave節(jié)點(diǎn)可以刪除一個(gè),比如CDH2可以刪除不要,以節(jié)省內(nèi)存開(kāi)銷
如果內(nèi)存比較大的同學(xué)可以給slave節(jié)點(diǎn)配置三個(gè),來(lái)模擬更加真實(shí)的環(huán)境
基礎(chǔ)系統(tǒng)環(huán)境準(zhǔn)備
a.關(guān)閉防火墻服務(wù)
chkconfig iptables off 關(guān)閉防火墻自啟
service iptables stop 關(guān)閉當(dāng)前防火墻的運(yùn)行
b. 配置主機(jī)名
修改 /etc/sysconfig/network 文件,設(shè)置HOSTNAME為需要的主機(jī)名
這里設(shè)置FQDN形式,保存即可
FQDN形式的主機(jī)名就是包含完整的主機(jī)所在域(所在組織)的主機(jī)名
如 cdh0.itcast.cn 其中cdh0是簡(jiǎn)寫的主機(jī)名 .itcast.cn 是這臺(tái)主機(jī)的所在域 也就是domain
hadoop中配置建議使用FQDN形式的主機(jī)名。
c. 配置各個(gè)主機(jī)IP地址
老師演示的網(wǎng)段是 192.168.66.0 網(wǎng)段
下面演示的IP地址根據(jù)你虛擬機(jī)的網(wǎng)段來(lái)設(shè)置,自行修改
1.關(guān)閉 NetworkManager 服務(wù)和 selinux
# NetworkManager
service NetworkManager stop # 關(guān)閉
chkconfig NetworkManager off # 關(guān)閉開(kāi)機(jī)自啟
# Selinux
vim /etc/sysconfig/selinux
設(shè)置SELINUX=disabled
然后重啟生效
2. 配置 ip : vim /etc/sysconfig/network-scripts/ifcfg-eth0DEVIDE="eth0" # 網(wǎng)卡名字
BOOTPROTO="static" # 靜態(tài)IP
ONBOOT="yes" # 開(kāi)機(jī)啟動(dòng)
TYPE="Ethernet" # 類型
IPADDR=192.168.66.200 # IP地址
NETMAST=255.255.255.0 # 子網(wǎng)掩碼
GATEWAY=192.168.66.2 # 網(wǎng)關(guān)地址
DNS1=192.168.66.2 # DNS1的地址
3. 執(zhí)行 service network restart 重啟網(wǎng)卡執(zhí)行到這一步網(wǎng)絡(luò)就配置好了,可以用secureCRT等工具連接服務(wù)器了
vim /etc/hosts
添加:
192.168.66.200 cdh0.itcast.cn cdh0
192.168.66.201 cdh1.itcast.cn cdh1
192.168.66.202 cdh2.itcast.cn cdh2
192.168.66.203 cdh3.itcast.cn cdh3
在每個(gè)機(jī)器都執(zhí)行, 不要?jiǎng)釉镜膌ocalhost的配置,可能會(huì)有bug
e. 安裝必要軟件(通過(guò) yum 在線安裝)
執(zhí)行:
yum -y install epel-release
yum install -y autoconf automake libtool cmake ncurses-devel openssl-devel lzo-devel
zlib-devel gcc gcc-c++ bzip2-devel cmake3 lrzsz ntp
所有機(jī)器上都執(zhí)行
f. 配置ntp和時(shí)間
1. 修改時(shí)區(qū): cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
2. 校對(duì)當(dāng)前時(shí)間: ntpdate -u 0.cn.pool.ntp.org
3. 設(shè)置ntp服務(wù)并啟動(dòng)和設(shè)置自啟
vim /etc/ntp.conf
在server那里最上面添加一行
server 0.cn.pool.ntp.org iburst
然后執(zhí)行service ntpd start
執(zhí)行 chkconfig ntpd on
所有機(jī)器上都執(zhí)行
g. 創(chuàng)建用戶和組以及配置各自的ssh免密登錄
添加用戶
# 添加一個(gè)hadoop組
groupadd hadoop
# 添加用戶
useradd hadoop -g hadoop -p hadoop
useradd hive -g hadoop -p hive
useradd yarn -g hadoop -p yarn
useradd mapred -g hadoop -p mapred
或者一條命令搞定:
groupadd hadoop;useradd hadoop -g hadoop -p hadoop;useradd hive -g hadoop -p
hive;useradd yarn -g hadoop -p yarn;useradd mapred -g hadoop -p mapred
在cdh0 cdh1 cdh2三臺(tái)機(jī)器上執(zhí)行
設(shè)置ssh免密登錄(可選)
可選,方便操作,課程演示做root賬戶的互相免密
執(zhí)行 ssh-keygen -t rsa 一路回車就可創(chuàng)建當(dāng)前賬戶的 ssh key
執(zhí)行 ssh-copy-id 目標(biāo)主機(jī) 即可讓當(dāng)前機(jī)器的當(dāng)前用戶免密登錄目標(biāo)主機(jī)的當(dāng)前用戶
h. 上傳Hadoop軟件包
上傳包
創(chuàng)建目錄 mkdir /bigdata 在 cdh0執(zhí)行
上傳:
apache-maven-3.0.5-bin.tar.gz
hadoop-2.6.0-cdh5.14.4.tar.gz
hive-1.1.0-cdh5.14.4.tar.gz
并解壓到/bigdata 目錄下, 參考命令 tar -zxvf hive-1.1.0-cdh5.14.4.tar.gz -C /bigdata/
使用 scp 命令將 /bigdata 目錄復(fù)制到cdh1 和 cdh2
scp -r /bigdata cdh1:/
scp -r /bigdata cdh2:/
目錄/bigdata 用來(lái)安裝hadoop等組件,同學(xué)可以自行修改
i. 安裝jdk
上傳jdk1.7 和 jdk1.8到服務(wù)器并解壓
設(shè)置java home 為jdk1.8
在每個(gè)hadoop節(jié)點(diǎn)(cdh0,1,2)機(jī)器都執(zhí)行
j. 配置環(huán)境變量
export HADOOP_HOME=/bigdata/hadoop-2.6.0-cdh5.14.4
export MAVEN_HOME=/bigdata/apache-maven-3.0.5
export HIVE_HOME=/bigdata/hive-1.1.0-cdh5.14.4
export JAVA_HOME=/usr/local/jdk1.8.0_221
export
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$MAVEN_HOME/bin:$HIVE_HOME/bin:
$PATH
# export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
# export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/bigdata/hadoop-2.6.0-cdh5.14.4/lib/native
source /etc/profile
在每個(gè)hadoop節(jié)點(diǎn)(cdh0,1,2)機(jī)器都執(zhí)行
Nginx安裝和目錄結(jié)構(gòu)介紹【黑馬程序員】