首頁技術(shù)文章正文

大數(shù)據(jù)入門Hadoop安裝

更新時間:2018-07-27 來源:黑馬程序員技術(shù)社區(qū) 瀏覽量:

解壓hadoop
    tar -zxvf h     -C app/
hadoop文件目錄結(jié)構(gòu)解析:
bin:可執(zhí)行腳本
sbin:系統(tǒng)腳本,啟動停止hadoop的腳本
etc:hadoop的配置文件
lib:hadoop的本地庫
include:本地庫包含文件
share:包含了hadoop的jar包和一些說明文檔,我們可以刪除說明文檔,精簡hadoop


進(jìn)入hadoop的配置文件去更改設(shè)置
    1.hadoop-env.sh(寫死一個jkd的目錄進(jìn)去,因?yàn)橛械臅r候找不見)
    2.echo $JAVA_HOME
    /home/hadoop/app/jdk1.7.0_65
    2.本機(jī)的javahome為    /home/hadoop/app/jdk1.7.0_65
    3.export JAVA_HOME=/home/hadoop/app/jdk1.7.0_65

偽分布式:就是所有的程序都在一臺主機(jī)上跑,完全是分布式的工作模式,但是不是真正的分布式
    先上傳hadoop的安裝包到服務(wù)器上去/home/hadoop/
    注意:hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
    偽分布式需要修改5個配置文件
    3.1配置hadoop


    第一個:hadoop-env.sh
        vim hadoop-env.sh
        #第27行
        export JAVA_HOME=/home/hadoop/app/jdk1.7.0_65
        
    第二個:core-site.xml
        <!-- 指定HADOOP所使用的文件系統(tǒng)schema(URI),HDFS的老大(NameNode)的地址 -->
        vim core-site.xml
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://weekend110:9000/</value>
        </property>
        <!-- 指定hadoop運(yùn)行時產(chǎn)生文件的存儲目錄 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/hadoop/hadoop-2.4.1/data/</value>
    </property>
        

vi hdfs-site.xml

    第三個:hdfs-site.xml  
        vim hdfs-site.xml
        <property>
            <!-- 指定HDFS副本的數(shù)量 -->
            <name>dfs.replication</name>
            <!-- 因?yàn)橹挥幸慌_機(jī)器,所以配置為1 -->
            <value>1</value>
    </property>
        
        yaant運(yùn)行必須的配置文件
        首先修改文件呢的名字,不然hadoop不會讀取的

    第四個:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

        mv mapred-site.xml.template mapred-site.xml
        vim mapred-site.xml
        <!-- 指定mr運(yùn)行在yarn上 -->
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
        
    第五個:yarn-site.xml
    vim yarn-site.xml
        <!-- 指定YARN的老大(ResourceManager)的地址 -->
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>weekend110</value>
    </property>
        <!-- reducer獲取數(shù)據(jù)的方式 -->
    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
     </property>

     現(xiàn)在關(guān)閉Hadoop服務(wù)器的防火墻:
     sudo service iptables stop
     查看狀態(tài)
     sudo service iptables status
     

     查看Liunx防火墻的自啟動服務(wù)設(shè)置
         sudo chkconfig iptables --list
    關(guān)掉Liunx防火墻的自啟動服務(wù)設(shè)置
         sudo chkconfig iptables off

     第一次啟動注意要格式化文件系統(tǒng)


     方便執(zhí)行bin下的指令
    3.2將hadoop添加到環(huán)境變量
    
    sudo vi /etc/profile
        export HADOOP_HOME=/home/hadoop/app/hadoop-2.4.1
        export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    source /etc/profile
    
    hadoop namenode -format

    3.3格式化namenode(是對namenode進(jìn)行初始化)
        hdfs namenode -format (hadoop namenode -format)
        修改主機(jī)名稱
        vi sla

    3.4啟動hadoop
        先啟動HDFS
        sbin/start-dfs.sh
        
        再啟動YARN
        sbin/start-yarn.sh
        
    3.5驗(yàn)證是否啟動成功
        jps
        使用jps命令驗(yàn)證
        27408 NameNode
        28218 Jps
        27643 SecondaryNameNode
        28066 NodeManager
        27803 ResourceManager
        27512 DataNode
    
        http://192.168.2.100:50070 (HDFS管理界面)
        http://192.168.2.100:8088 (MR管理界面)
        

        
4.配置ssh免登陸
    #生成ssh免登陸密鑰
    #進(jìn)入到我的home目錄
    cd ~/.ssh

    ssh-keygen -t rsa (四個回車)
    執(zhí)行完這個命令后,會生成兩個文件id_rsa(私鑰)、id_rsa.pub(公鑰)
    將公鑰拷貝到要免登陸的機(jī)器上
    ssh-copy-id localhost

hadoop

本文版權(quán)歸黑馬程序員JavaEE學(xué)院所有,歡迎轉(zhuǎn)載,轉(zhuǎn)載請注明作者出處。謝謝!

作者:黑馬程序員JavaEE培訓(xùn)學(xué)院

首發(fā):http://java.itheima.com/

分享到:
在線咨詢 我要報名
和我們在線交談!