首頁技術(shù)文章正文

Kerberos下載安裝:環(huán)境變量配置和基礎(chǔ)系統(tǒng)準備

更新時間:2021-09-10 來源:黑馬程序員 瀏覽量:

IT培訓(xùn)班

對 Kerberos 有了基本了解后,我們開始進入安裝部署的步驟,首先是先準備基本的服務(wù)器環(huán)境。

本次課程基于使用的軟件環(huán)境如下:

CDH 5.14.4

hadoop2.6.0-cdh5.14.4

hive1.1.1-cdh5.14.4

CentOS 6.9 x64 操作系統(tǒng)

JDK 1.8 and jdk1.7(for maven)

apache-maven-3.0.5

Kerberos 使用在線yum庫提供的最新版本

除操作系統(tǒng)外,所有需要用到的安裝包,在課件內(nèi)都有提供,同學(xué)們可以直接使用。

部署節(jié)點信息

本次課程使用4臺服務(wù)器來進行演示,分別是:

主機名cdh0(FQDN: cdh0.itcast.cn):hadoop的master節(jié)點,部署 namenode ,

resourcemanager , hive server2 , historyserver 等master角色 以及 Kerberos 的 客戶端

主機名cdh1(FQDN: cdh1.itcast.cn):hadoop的slave節(jié)點,部署 datanode , nodemanager 等slave角色 以及 Kerberos 的 客戶端

主機名CDH2(FQDN: cdh2.itcast.cn):同CDH1

主機名CDH3(FQDN: cdh3.itcast.cn):Kerberos的server端,部署 Kerberos server

Kerberos下載安裝:環(huán)境變量配置和基礎(chǔ)系統(tǒng)準備

硬件配置:

CDH0、CDH1、CDH2均為2核心3GB內(nèi)存配置,CDH3為1核心1GB內(nèi)存

同學(xué)們可以根據(jù)自己主機的配置情況做相應(yīng)增刪

其中slave節(jié)點可以刪除一個,比如CDH2可以刪除不要,以節(jié)省內(nèi)存開銷

如果內(nèi)存比較大的同學(xué)可以給slave節(jié)點配置三個,來模擬更加真實的環(huán)境


基礎(chǔ)系統(tǒng)環(huán)境準備

a.關(guān)閉防火墻服務(wù)

chkconfig iptables off 關(guān)閉防火墻自啟

service iptables stop 關(guān)閉當(dāng)前防火墻的運行

b. 配置主機名

修改 /etc/sysconfig/network 文件,設(shè)置HOSTNAME為需要的主機名

這里設(shè)置FQDN形式,保存即可

FQDN形式的主機名就是包含完整的主機所在域(所在組織)的主機名 如 cdh0.itcast.cn 其中cdh0是簡寫的主機名 .itcast.cn 是這臺主機的所在域 也就是domain hadoop中配置建議使用FQDN形式的主機名。

c. 配置各個主機IP地址

老師演示的網(wǎng)段是 192.168.66.0 網(wǎng)段

下面演示的IP地址根據(jù)你虛擬機的網(wǎng)段來設(shè)置,自行修改
1.關(guān)閉 NetworkManager 服務(wù)和 selinux

# NetworkManager
service NetworkManager stop # 關(guān)閉
chkconfig NetworkManager off # 關(guān)閉開機自啟
# Selinux
vim /etc/sysconfig/selinux
設(shè)置SELINUX=disabled
然后重啟生效

2. 配置 ip : vim /etc/sysconfig/network-scripts/ifcfg-eth0
在其中確保有如下:
DEVIDE="eth0" # 網(wǎng)卡名字
BOOTPROTO="static" # 靜態(tài)IP
ONBOOT="yes" # 開機啟動
TYPE="Ethernet" # 類型
IPADDR=192.168.66.200 # IP地址
NETMAST=255.255.255.0 # 子網(wǎng)掩碼
GATEWAY=192.168.66.2 # 網(wǎng)關(guān)地址
DNS1=192.168.66.2 # DNS1的地址
3. 執(zhí)行 service network restart 重啟網(wǎng)卡
如果遇到 Device eth0 does not seem to be present, delaying initialization. 錯 誤,可以執(zhí)行: rm /etc/udev/rules.d/70-persistent-net.rules 然后重啟機器即可 重啟可以執(zhí)行 init 6
4. 執(zhí)行 curl www.baidu.com 來判斷自己是否可以上網(wǎng)d. 配置 /etc/hosts 文件

執(zhí)行到這一步網(wǎng)絡(luò)就配置好了,可以用secureCRT等工具連接服務(wù)器了

vim /etc/hosts

添加:

192.168.66.200 cdh0.itcast.cn cdh0
192.168.66.201 cdh1.itcast.cn cdh1
192.168.66.202 cdh2.itcast.cn cdh2
192.168.66.203 cdh3.itcast.cn cdh3

在每個機器都執(zhí)行, 不要動原本的localhost的配置,可能會有bug
e. 安裝必要軟件(通過 yum 在線安裝) 執(zhí)行:

yum -y install epel-release
yum install -y autoconf automake libtool cmake ncurses-devel openssl-devel lzo-devel
zlib-devel gcc gcc-c++ bzip2-devel cmake3 lrzsz ntp

所有機器上都執(zhí)行

f. 配置ntp和時間

1. 修改時區(qū): cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

2. 校對當(dāng)前時間: ntpdate -u 0.cn.pool.ntp.org

3. 設(shè)置ntp服務(wù)并啟動和設(shè)置自啟

vim /etc/ntp.conf
在server那里最上面添加一行
server 0.cn.pool.ntp.org iburst
然后執(zhí)行service ntpd start
執(zhí)行 chkconfig ntpd on

所有機器上都執(zhí)行
g. 創(chuàng)建用戶和組以及配置各自的ssh免密登錄
添加用戶

# 添加一個hadoop組
groupadd hadoop
# 添加用戶
useradd hadoop -g hadoop -p hadoop
useradd hive -g hadoop -p hive
useradd yarn -g hadoop -p yarn
useradd mapred -g hadoop -p mapred
或者一條命令搞定:
groupadd hadoop;useradd hadoop -g hadoop -p hadoop;useradd hive -g hadoop -p
hive;useradd yarn -g hadoop -p yarn;useradd mapred -g hadoop -p mapred

在cdh0 cdh1 cdh2三臺機器上執(zhí)行

設(shè)置ssh免密登錄(可選)

可選,方便操作,課程演示做root賬戶的互相免密

執(zhí)行 ssh-keygen -t rsa 一路回車就可創(chuàng)建當(dāng)前賬戶的 ssh key

執(zhí)行 ssh-copy-id 目標主機 即可讓當(dāng)前機器的當(dāng)前用戶免密登錄目標主機的當(dāng)前用戶

h. 上傳Hadoop軟件包

上傳包

創(chuàng)建目錄 mkdir /bigdata 在 cdh0執(zhí)行

上傳:

  •    apache-maven-3.0.5-bin.tar.gz

  •    hadoop-2.6.0-cdh5.14.4.tar.gz

  •    hive-1.1.0-cdh5.14.4.tar.gz

并解壓到/bigdata 目錄下, 參考命令 tar -zxvf hive-1.1.0-cdh5.14.4.tar.gz -C /bigdata/

使用 scp 命令將 /bigdata 目錄復(fù)制到cdh1 和 cdh2

scp -r /bigdata cdh1:/

scp -r /bigdata cdh2:/

目錄/bigdata 用來安裝hadoop等組件,同學(xué)可以自行修改

i. 安裝jdk

上傳jdk1.7 和 jdk1.8到服務(wù)器并解壓

設(shè)置java home 為jdk1.8

在每個hadoop節(jié)點(cdh0,1,2)機器都執(zhí)行

j. 配置環(huán)境變量

export HADOOP_HOME=/bigdata/hadoop-2.6.0-cdh5.14.4
export MAVEN_HOME=/bigdata/apache-maven-3.0.5
export HIVE_HOME=/bigdata/hive-1.1.0-cdh5.14.4
export JAVA_HOME=/usr/local/jdk1.8.0_221
export
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$MAVEN_HOME/bin:$HIVE_HOME/bin:
$PATH
# export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
# export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/bigdata/hadoop-2.6.0-cdh5.14.4/lib/native

source /etc/profile
在每個hadoop節(jié)點(cdh0,1,2)機器都執(zhí)行






猜你喜歡:

Nginx安裝和目錄結(jié)構(gòu)介紹【黑馬程序員】

如何下載和安裝第三方模塊?

怎樣在Mac OS平臺安裝Python開發(fā)環(huán)境?【python安裝】

黑馬程序員Python大數(shù)據(jù)開發(fā)培訓(xùn)

分享到:
在線咨詢 我要報名
和我們在線交談!