更新時間:2020-09-11 來源:黑馬程序員 瀏覽量:
課程簡介
從零開始講解大數(shù)據(jù)業(yè)務及數(shù)據(jù)采集和遷移需求,以案例驅動的方式講解基于Sqoop構建高性能的分布式數(shù)據(jù)遷移和同步平臺。
課程亮點
1,知識體系完備,從小白到大神各階段讀者均能學有所獲。
2,生動形象,化繁為簡,講解通俗易懂。
3,結合工作實踐及分析應用,培養(yǎng)解決實際問題的能力。
4,每一塊知識點, 都有配套案例, 學習不再迷茫。
適用人群
1、對大數(shù)據(jù)感興趣的在校生及應屆畢業(yè)生。
2、對目前職業(yè)有進一步提升要求,希望從事大數(shù)據(jù)行業(yè)高薪工作的在職人員。
3、對大數(shù)據(jù)行業(yè)感興趣的相關人員。
課程內容
第一章:企業(yè)數(shù)據(jù)遷移需求及解決方案
1.企業(yè)級數(shù)據(jù)遷移及同步需求
2.Sqoop的設計思想
3.Sqoop與Hadoop的關系
4.Sqoop的分布式實現(xiàn)原理
5.Sqoop的企業(yè)級版本選型
6.Sqoop1的部署安裝及配置
第二章:Sqoop數(shù)據(jù)導入實戰(zhàn)開發(fā)
1.Sqoop導入開發(fā)參數(shù)詳解
2.數(shù)據(jù)導入分布式文件系統(tǒng)HDFS
3.數(shù)據(jù)導入數(shù)據(jù)倉庫Hive
4.基于復雜條件實現(xiàn)數(shù)據(jù)導入
5.基于訂單案例實現(xiàn)Increment增量同步數(shù)據(jù)
6.基于訂單案例實現(xiàn)lastModified增量同步導入數(shù)據(jù)
7.數(shù)據(jù)導入原理詳解
第三章:Sqoop數(shù)據(jù)導出實戰(zhàn)開發(fā)
1.Sqoop導出開發(fā)參數(shù)詳解
2.基于MySQL實現(xiàn)數(shù)據(jù)導出
3.基于案例實現(xiàn)updateonly增量同步導出
4.基于案例實現(xiàn)allowinsert增量同步導出
5.數(shù)據(jù)導出原理詳解
第四章:Sqoop企業(yè)級任務管理
1.企業(yè)級數(shù)據(jù)管理業(yè)務
2.Sqoop Job命令參數(shù)詳解
3.基于訂單案例實現(xiàn)Sqoop Job實戰(zhàn)開發(fā)
4.Sqoop Job 任務管理