數(shù)據(jù)清洗是什么？數(shù)據(jù)清洗的應用

數(shù)據(jù)清洗技術是提高數(shù)據(jù)質量的有效方法。這項技術是一個較新的研究領域，對大數(shù)據(jù)集的清洗工作需要花費很長的時間。由于不同的應用領域對數(shù)據(jù)清洗有不同的解釋，因此數(shù)據(jù)清洗直到現(xiàn)在都沒有一個公認、統(tǒng)一的定義。數(shù)據(jù)清洗主要應用于3個領域，即數(shù)據(jù)倉庫領域、數(shù)據(jù)挖掘領域以及數(shù)據(jù)質量管理領域。

在數(shù)據(jù)倉庫領域中，當多個數(shù)據(jù)庫合并時或多個數(shù)據(jù)源進行集成時，都需要進行數(shù)據(jù)清洗。例如，當同一個實體的記錄在不同數(shù)據(jù)源中以不同的表示格式或錯誤表示的情況下，合并后的數(shù)據(jù)倉庫中就會出現(xiàn)重復的記錄，數(shù)據(jù)清洗的程序就需要識別出重復的記錄并消除重復的記錄，也就是所謂的數(shù)據(jù)合并或清除(Merge/Purge)問題。在數(shù)據(jù)倉庫環(huán)境中，數(shù)據(jù)清洗主要包括數(shù)據(jù)的清洗和結構的轉換兩個過程。

在數(shù)據(jù)挖掘領域中，數(shù)據(jù)清洗是數(shù)據(jù)進行預處理過程的第一個步驟。在數(shù)據(jù)預處理應用中，數(shù)據(jù)清洗的主要任務是提高數(shù)據(jù)的可用性，即去除噪聲、無關數(shù)據(jù)以及空值等，并考慮數(shù)據(jù)的動態(tài)變化。在字符分類問題中，通過使用機器學習的技術進行數(shù)據(jù)清洗，即使用特定算法檢測數(shù)據(jù)庫對缺失和錯誤的數(shù)據(jù)予以修改。

在數(shù)據(jù)質量管理領域中，數(shù)據(jù)質量管理是一個學術界和商業(yè)界都感興趣的領域。數(shù)據(jù)質量管理主要用于解決信息系統(tǒng)中的數(shù)據(jù)質量及集成問題。在該領域中，數(shù)據(jù)清洗從數(shù)據(jù)質量的角度出發(fā)，把數(shù)據(jù)清洗過程和數(shù)據(jù)生命周期集成在一起，對數(shù)據(jù)的正確性進行檢查并提高數(shù)據(jù)質量。

猜你喜歡：

什么是數(shù)據(jù)清洗？數(shù)據(jù)清洗的原理是什么？

ETL常見三類數(shù)據(jù)清洗的策略

黑馬程序員Python+大數(shù)據(jù)開發(fā)工程師培訓