掌握了Hadoop集群中的高可用架構(gòu)后,接下來,我們來手把手教大家搭建一個(gè)Hadoop高可用集群,具體步驟如下:查看全文>>
大多數(shù)情況下,我們完成的數(shù)據(jù)體系卻是依賴復(fù)雜、層級(jí)混亂的,因此,我們需要一套行之有效的數(shù)據(jù)組織和管理方法來讓我們的數(shù)據(jù)體系更有序,這就是談到的數(shù)據(jù)分層。數(shù)據(jù)分層并不能解決所有的數(shù)據(jù)問題,但是,數(shù)據(jù)分層卻可以給我們帶來如下的好處:查看全文>>
combiner其實(shí)屬于優(yōu)化方案,由于帶寬限制,應(yīng)該盡量map和reduce之間的數(shù)據(jù)傳輸數(shù)量。它在Map 端把同一個(gè)key的鍵值對(duì)合并在一起并計(jì)算,計(jì)算規(guī)則與reduce一致,所以combiner也可以看作特殊的Reducer。查看全文>>
map階段處理的數(shù)據(jù)如何傳遞給reduce階段,是MapReduce框架中關(guān)鍵的一個(gè)流程,這個(gè)流程就叫shuffle。本章節(jié)內(nèi)容來看一下shuffle的工作流程和工作機(jī)制。查看全文>>
線程由線程ID、當(dāng)前指令指針(PC)、寄存器集合和堆棧組成,它不能獨(dú)立擁有系統(tǒng)資源,但它可與同屬一個(gè)進(jìn)程的其它線程共享該進(jìn)程所擁有的全部資源。查看全文>>
在Unix/Linux操作系統(tǒng)中,通過Python的os模塊中封裝的fork()函數(shù)可以輕松地創(chuàng)建一個(gè)進(jìn)程。fork()函數(shù)的聲明如下:查看全文>>