首頁最新資訊

全部 常見問題 新聞動態(tài) 技術(shù)文章 技術(shù)問答

    • 如何利用Spark過濾品類的行為類型？

      使用filter(）算子過濾aggregationRDD每一行數(shù)據(jù)中行為類型為加入購物車和購買的數(shù)據(jù)，只保留行為類型為查看的數(shù)據(jù)，然后使用mapToPair()算子對過濾結(jié)果進(jìn)行轉(zhuǎn)換，獲取每一行數(shù)據(jù)中品類被查看次數(shù)和品類ID數(shù)據(jù)，最終將轉(zhuǎn)換結(jié)果加載到getViewCategoryRDD.具體代碼如下。查看全文>>

      技術(shù)文章2023-07-12 |黑馬程序員 |Spark過濾品類行為類型

    • Spark3.0的新特性有哪些？【大數(shù)據(jù)開發(fā)】

      對比2.4版本, 3.0在TPC-DS基準(zhǔn)測試中,性能超過2.4版本, 達(dá)到了2倍的提升。關(guān)于Spark 3.0，有以下的新特性：查看全文>>

      技術(shù)文章2023-07-11 |黑馬程序員 |Spark 3.0新特性,大數(shù)據(jù)Spark技術(shù)

    • FineBI是什么？怎樣為FineBI配置數(shù)據(jù)源？

      FineBI 是帆軟軟件有限公司推出的一款商業(yè)智能(Business Intelligence)產(chǎn)品。FineBI 是定位于自助大數(shù)據(jù)分析的 BI 工具，能夠幫助企業(yè)的業(yè)務(wù)人員和數(shù)據(jù)分析師，開展以問題導(dǎo)向的探索式分析。查看全文>>

      技術(shù)文章2023-07-04 |黑馬程序員 |FineBI,FineBI配置數(shù)據(jù)源

    • 鍵值對存儲數(shù)據(jù)庫的應(yīng)用場景有哪些？

      鍵值對存儲數(shù)據(jù)庫是NoSQL數(shù)據(jù)庫中的一種類型，也是最簡單的NoSQL數(shù)據(jù)庫。鍵值對存儲數(shù)據(jù)庫中的數(shù)據(jù)是以鍵值對的形式來存儲的。鍵值對存儲數(shù)據(jù)庫的結(jié)構(gòu)示意圖，如圖所示。查看全文>>

      技術(shù)文章2023-06-30 |黑馬程序員 |NoSQL,鍵值對

    • 什么是代理池？Python爬蟲代理池的設(shè)計

      代理池就是有代理IP組成的池子, 它可以提供多個穩(wěn)定可用的代理IP。Python實(shí)現(xiàn)代理池是為了從一堆不穩(wěn)定代理IP中,抽取高可用代理IP, 給爬蟲使用。代理池實(shí)現(xiàn)思路是先實(shí)現(xiàn)不依賴其他模塊的基礎(chǔ)模塊, 然后再實(shí)現(xiàn)具體功能模塊。查看全文>>

      技術(shù)文章2023-06-23 |黑馬程序員 |代理池,Python爬蟲

    • SortShuffleManager的bypass機(jī)制觸發(fā)條件是什么？

      SortShuffleManager的運(yùn)行機(jī)制主要分成兩種，一種是普通運(yùn)行機(jī)制，另一種是bypass運(yùn)行機(jī)制。當(dāng)shuffle write。查看全文>>

      技術(shù)文章2023-06-23 |黑馬程序員 |Spark Shuffle的運(yùn)行機(jī)制,bypass運(yùn)行機(jī)制
和我們在線交談！