更新時(shí)間:2022-04-20 來(lái)源:黑馬程序員 瀏覽量:
大數(shù)據(jù)培訓(xùn)課程中經(jīng)常會(huì)講到HDFS,HDFS提供了多種數(shù)據(jù)訪(fǎng)問(wèn)方式,其中,命令行的形式是最簡(jiǎn)單的,同時(shí)也是許多開(kāi)發(fā)者最容易掌握的方式,本節(jié)將針對(duì)HDFS的基本操作進(jìn)行講解。
Shell在計(jì)算機(jī)科學(xué)殼中俗稱(chēng)“殼”,是提供給使用者使用界面的進(jìn)行與系統(tǒng)交互的軟件,通過(guò)接收用戶(hù)輸入的命令執(zhí)行相應(yīng)的操作,Shell分為圖形界面Shell和命令行式Shell。
HDFS Shell包含類(lèi)似Shell的命令,示例如下:
hadoop fs<args> hadoop dfs<args> hdfs dfs<args>
上述命令中,hadoop fs使用面最廣,可以操作任何文件系統(tǒng),如本地系統(tǒng)、HDFS等;hadoop dfs則主要針對(duì)HDFS,已經(jīng)被hdfs dfs代替。
文件系統(tǒng)(FS)Shell包含了各種的類(lèi)Shell的命令,可以直接與Hadoop分布式文件系統(tǒng)以及其他文件系統(tǒng)進(jìn)行交互,如與Local FS、HTTP FS、S3 FS文件系統(tǒng)交互等。通過(guò)命令行的方式進(jìn)行交互,具體操作常用命令,如表3-1所示。
表3-1 HDFS Shell參數(shù)
從表3-1可以看出,HDFS支持的命令很多,但這里只列舉常用的一部分,如果需要了解全部命令或使用過(guò)程中遇到問(wèn)題都可以使用“hadoop fs -help”命令獲取幫助文檔,也可以通過(guò)Hadoop官方文檔htp://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/FileSystemShell.html學(xué)習(xí),接下來(lái)對(duì)這些常用的命令進(jìn)行操作演示。