這里我們采用的是京東的數(shù)據(jù)倉庫分層模式,是根據(jù)標(biāo)準(zhǔn)的模型演化而來。將數(shù)據(jù)倉庫分為4層,BDM作為緩沖數(shù)據(jù),F(xiàn)DM作為基礎(chǔ)數(shù)據(jù)層,接下來對(duì)他們做詳細(xì)介紹。查看全文>>
數(shù)據(jù)倉庫標(biāo)準(zhǔn)上可以分為四層:ODS(臨時(shí)存儲(chǔ)層)、PDW(數(shù)據(jù)倉庫層)、MID(數(shù)據(jù)集市層)、APP(應(yīng)用層)。查看全文>>
Python在處理文件時(shí),為避免打開的文件占用過多的系統(tǒng)資源,需要在完成對(duì)文件的操作后使用close()方法關(guān)閉文件。為了確保文件一定會(huì)被關(guān)閉,可以將文件關(guān)閉操作放在finally子句中。示例如下:查看全文>>
使用斜線的方式,對(duì)單引號(hào)進(jìn)行了轉(zhuǎn)義,這樣當(dāng)解釋器遇到這個(gè)轉(zhuǎn)義字符的時(shí)候,會(huì)明白這不是字符串的結(jié)束標(biāo)記。而像這樣的轉(zhuǎn)義符號(hào)有很多種,接下來,通過一張表來列舉查看全文>>
Sqoop工具操作簡單,它提供了一系列的工具指令,來進(jìn)行數(shù)據(jù)的導(dǎo)入、導(dǎo)出操作等。使用Sqoop解壓包中bin目錄下的“sqoop help”指令可以查看Sqoop支持的所有工具指令,具體效果如圖1所示。查看全文>>
數(shù)據(jù)發(fā)布與訂閱模型,即所謂的全局配置中心,顧名思義就是發(fā)布者將需要全局統(tǒng)一管理的數(shù)據(jù)發(fā)布到Zookeeper節(jié)點(diǎn)上,供訂閱者動(dòng)態(tài)獲取數(shù)據(jù),實(shí)現(xiàn)配置信息的集中式管理和動(dòng)態(tài)更新。例如全局的配置信息,服務(wù)式服務(wù)框架的服務(wù)地址列表等就非常適合使用。接下來,我們介紹一些數(shù)據(jù)發(fā)布與訂閱的主要應(yīng)用場景。查看全文>>