Zookeeper為了保證各節(jié)點的協(xié)同工作,在工作時需要一個Leader角色,而Zookeeper默認采用FastLeaderElection算法,且投票數(shù)大于半數(shù)則勝出的機制,再介紹選舉機制前,首先了解選舉涉及的相關概念。查看全文>>
HBase中存儲在HDFS中的數(shù)據(jù)是通過Zookeeper協(xié)調(diào)處理的。由于HBase存在單點故障的問題,因此,可以通過Zookeeper部署一個高可用的HBase集群解決。下面,以三臺服務器為例(hadoop01、hadoop02和hadoop03),講解如何安裝部署HBase集群。查看全文>>
Spark的任務調(diào)度流程分為RDD Objects、DAGScheduler、TaskScheduler以及Worker四個部分。關于這四個部分的相關介紹具體如下:查看全文>>
被多個線程同時訪問,使用線程同步技術,可以確保數(shù)據(jù)在任何時刻最多只有一個線程訪問。查看全文>>
程序開發(fā)中不僅需要使用大量的標準模塊,而且還會根據(jù)業(yè)務需求使用第三方模塊。在使用第三方模塊之前,需要使用包管理工具——pip下載和安裝第三方模塊。查看全文>>
Python模塊的開頭通常會定義一個__all__屬性,該屬性實際上是一個元組,該元組中包含的元素決定了在使用from…import 語句導入模塊內(nèi)容時通配符所包含的內(nèi)容。 如果__all__中只包含模塊的部分內(nèi)容,那么from…import *語句只會將__all__中包含的部分內(nèi)容導入程序。查看全文>>