? Spark Streaming是構(gòu)建在Spark上的實時計算框架,且是對Spark Core API的一個擴(kuò)展,它能夠?qū)崿F(xiàn)對流數(shù)據(jù)進(jìn)行實時處理,并具有很好的可擴(kuò)展性、高吞吐量和容錯性。Spark Streaming具有如下顯著特點。查看全文>>
近年來,Web應(yīng)用、網(wǎng)絡(luò)監(jiān)控、傳感監(jiān)測、電信金融、生產(chǎn)制造等領(lǐng)域,對數(shù)據(jù)實時處理的需求不斷增強(qiáng),而Spark中的SparkStreaming實時計算框架就是為了實現(xiàn)對數(shù)據(jù)實時處理的需求而設(shè)計的。在電子商務(wù)中,淘寶、京東等網(wǎng)站從用戶點擊的行為(如加入購物車)和瀏覽的歷史記錄中發(fā)現(xiàn)用戶的購買意圖和興趣,然后通過Sparkstreaming實時計算框架分析處理,為之推薦相關(guān)商品,從而有效地提高商品的銷售量,同時也增加了用戶的滿意度,可謂是“一舉兩得”。查看全文>>
Kafka是一個高吞吐量的分布式發(fā)布訂閱消息系統(tǒng),它在實時計算系統(tǒng)中有著非常強(qiáng)大的功能。通常情況下,使用Kafka構(gòu)建系統(tǒng)或應(yīng)用程序之間的數(shù)據(jù)管道,用來轉(zhuǎn)換或響應(yīng)實時數(shù)據(jù),使數(shù)據(jù)能夠及時地進(jìn)行業(yè)務(wù)計算,得出相應(yīng)結(jié)果。查看全文>>
大數(shù)據(jù)系統(tǒng)面臨的首要困難是海量數(shù)據(jù)之間該如何進(jìn)行傳輸。為了解決大數(shù)據(jù)集的傳輸困難,就必須要構(gòu)建一個消息系統(tǒng)。一個消息系統(tǒng)負(fù)責(zé)將數(shù)據(jù)從一個應(yīng)用程序傳遞到另外一個應(yīng)用程序中,應(yīng)用程序只關(guān)注數(shù)據(jù),無須關(guān)注數(shù)據(jù)在多個應(yīng)用之間是如何傳遞的,分布式消息傳遞基于可靠的消息隊列,在客戶端應(yīng)用和消息系統(tǒng)之間異步傳遞消息。查看全文>>
了解Flink,了解集群環(huán)境搭建運維,學(xué)習(xí)Flink中重要概念、原理和API的用法,通過知識點 + 案例教學(xué)法幫助小白快速掌握Flink。查看全文>>
Hadoop與Spark都是大數(shù)據(jù)計算框架,但是兩者各有自己的優(yōu)勢,Spark與Hadoop的區(qū)別主要有以下幾點。查看全文>>