更新時間:2021-11-24 來源:黑馬程序員 瀏覽量:
在開發(fā)工作中,當業(yè)務(wù)前提不復(fù)雜時,可以使用Kafka命令來進行一些集群的管理工作。但如果業(yè)務(wù)變得復(fù)雜,例如:我們需要增加group、topic分區(qū),此時,我們再使用命令行就感覺很不方便,此時,如果使用一個可視化的工具幫助我們完成日常的管理工作,將會大大提高對于Kafka集群管理的效率,而且我們使用工具來監(jiān)控消費者在Kafka中消費情況。
早期,要監(jiān)控Kafka集群我們可以使用Kafka Monitor以及Kafka Manager,但隨著我們對監(jiān)控的功能要求、性能要求的提高,這些工具已經(jīng)無法滿足。
Kafka Eagle是一款結(jié)合了目前大數(shù)據(jù)Kafka監(jiān)控工具的特點,重新研發(fā)的一塊開源免費的Kafka集群優(yōu)秀的監(jiān)控工具。它可以非常方便的監(jiān)控生產(chǎn)環(huán)境中的offset、lag變化、partition分布、owner等。
官網(wǎng)地址:https://www.kafka-eagle.org/
開啟Kafka JMX端口
JMX(Java Management Extensions)是一個為應(yīng)用程序植入管理功能的框架。JMX是一套標準的代理和服務(wù),實際上,用戶可以在任何Java應(yīng)用程序中使用這些代理和服務(wù)實現(xiàn)管理。很多的一些軟件都提供了JMX接口,來實現(xiàn)一些管理、監(jiān)控功能。
cd ${KAFKA_HOME}
export JMX_PORT=9988
nohup bin/kafka-server-start.sh config/server.properties &
安裝Kafka-Eagle
1.安裝JDK,并配置好JAVA_HOME。
2.將kafka_eagle上傳,并解壓到 /export/server 目錄中。
tar -xvzf kafka-eagle-bin-1.4.6.tar.gz -C ../server/
cd /export/server/kafka-eagle-bin-1.4.6/
tar -xvzf kafka-eagle-web-1.4.6-bin.tar.gz
cd /export/server/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6
3. 配置 kafka_eagle 環(huán)境變量。
export KE_HOME=/export/server/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6
export PATH=$PATH:$KE_HOME/bin
source /etc/profile
4. 配置 kafka_eagle。使用vi打開conf目錄下的system-config.properties
vim conf/system-config.properties
# 修改第4行,配置kafka集群別名
kafka.eagle.zk.cluster.alias=cluster1
# 修改第5行,配置ZK集群地址
cluster1.zk.list=node1.itcast.cn:2181,node2.itcast.cn:2181,node3.itcast.cn:2181
# 注釋第6行
#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181
# 修改第32行,打開圖標統(tǒng)計
kafka.eagle.metrics.charts=true
kafka.eagle.metrics.retain=30
# 注釋第69行,取消sqlite數(shù)據(jù)庫連接配置
#kafka.eagle.driver=org.sqlite.JDBC
#kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db
#kafka.eagle.username=root
#kafka.eagle.password=www.kafka-eagle.org
# 修改第77行,開啟mys
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://node1.itcast.cn:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=123456
5.配置JAVA_HOME
cd /export/server/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6/bin
vim ke.sh
# 在第24行添加JAVA_HOME環(huán)境配置
export JAVA_HOME=/export/server/jdk1.8.0_241
6. 修改Kafka eagle可執(zhí)行權(quán)限
cd /export/server/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6/bin
chmod +x ke.sh
./ke.sh start
8. 訪問Kafka eagle,默認用戶為admin,密碼為:123456
http://node1.itcast.cn:8048/ke