每個Znode都包含了一系列的屬性,對于Zookeeper來說,Znode狀態(tài)改變的每一個操作都將使節(jié)點(diǎn)接收到唯一的zxid(Zookeeper Transaction ID)格式的時間戳,并且這個時間戳是全局有序的,通常被稱為事物ID...查看全文>>
Zookeeper為了保證各節(jié)點(diǎn)的協(xié)同工作,在工作時需要一個Leader角色,而Zookeeper默認(rèn)采用FastLeaderElection算法,且投票數(shù)大于半數(shù)則勝出的機(jī)制,再介紹選舉機(jī)制前,首先了解選舉涉及的相關(guān)概念。查看全文>>
HBase中存儲在HDFS中的數(shù)據(jù)是通過Zookeeper協(xié)調(diào)處理的。由于HBase存在單點(diǎn)故障的問題,因此,可以通過Zookeeper部署一個高可用的HBase集群解決。下面,以三臺服務(wù)器為例(hadoop01、hadoop02和hadoop03),講解如何安裝部署HBase集群。查看全文>>
Spark的任務(wù)調(diào)度流程分為RDD Objects、DAGScheduler、TaskScheduler以及Worker四個部分。關(guān)于這四個部分的相關(guān)介紹具體如下:查看全文>>
被多個線程同時訪問,使用線程同步技術(shù),可以確保數(shù)據(jù)在任何時刻最多只有一個線程訪問。查看全文>>
程序開發(fā)中不僅需要使用大量的標(biāo)準(zhǔn)模塊,而且還會根據(jù)業(yè)務(wù)需求使用第三方模塊。在使用第三方模塊之前,需要使用包管理工具——pip下載和安裝第三方模塊。查看全文>>