在業(yè)務(wù)系統(tǒng)和數(shù)據(jù)倉(cāng)庫(kù)之間形成一個(gè)隔離層,ODS直接存放從各個(gè)業(yè)務(wù)系統(tǒng)抽取過(guò)來(lái)的數(shù)據(jù), 這些數(shù)據(jù)從結(jié)構(gòu)和數(shù)據(jù)邏輯關(guān)系上和業(yè)務(wù)系統(tǒng)保持一致,降低了數(shù)據(jù)抽取的復(fù)雜性。查看全文>>
進(jìn)入hbase命令行 ./hbase shell 顯示hbase中的表 list 創(chuàng)建user表,包含info、data兩個(gè)列族......查看全文>>
最近,在工作中遇到了MySQL中如何存儲(chǔ)長(zhǎng)度較長(zhǎng)的字段類型問(wèn)題,于是花了一周多的時(shí)間抽空學(xué)習(xí)了一下,并且記錄下來(lái)。查看全文>>
安全模式是HDFS所處的一種特殊狀態(tài),在這種狀態(tài)下,文件系統(tǒng)只接受讀數(shù)據(jù)請(qǐng)求,而不接受刪除、修改等變更請(qǐng)求,是一種保護(hù)機(jī)制,用于保證集群中的數(shù)據(jù)塊的安全性。查看全文>>
HDFS元數(shù)據(jù),按類型分,主要包括以下幾個(gè)部分: 1、文件、目錄自身的屬性信息,例如文件名,目錄名,修改信息等。 2、文件記錄的信息的存儲(chǔ)相關(guān)的信息,例如存儲(chǔ)塊信息,分塊情況,副本個(gè)數(shù)等。 3、記錄HDFS的Datanode的信息,用于DataNode的管理。查看全文>>
mapreduce.map.memory.mb: 一個(gè)Map Task可使用的內(nèi)存上限(單位:MB),默認(rèn)為1024。如果Map Task實(shí)際使用的資源量超過(guò)該值,則會(huì)被強(qiáng)制殺死。查看全文>>