Category Archives: Hadoop

[Hadoop]HBase安裝

需先安裝好Hadoop

建立一個log資料夾(所有節點都要)

下載HBase並移動到HBase目錄

修改 conf/hbase-env.sh

編輯 conf/hbase-site.xml檔案如下

hbase.rootdir為在hdfs上的工作目錄 hbase.tmp.dir為hbase工作目錄

多nodes模式,編輯 conf/regionservers檔案

移除lib裡的hadoop的jar檔,再從hadoop裡複製新的過來

將HBase複製到各個節點中

執行

Continue Reading

[Hadoop]Hadoop安裝

安裝必要的套件(ssh、rsync、jdk)

設定 SSH 可以透過公鑰認證的方式來連線

下載Hadoop,並切換到Hadoop目錄

接下進行修改 Hadoop 的相關設定,首先修改 conf/masters(主要)

再來設定 conf/slaves(次要)

修改 conf/hadoop-env.sh 來設定 Hadoop 環境變數

接下來修改相關參數

conf/core-site.xml:

conf/hdfs-site.xml:

conf/mapred-site.xml:

將Hadoop複製到其他子節點上

格式化一個新的分散式的檔案系統 HDFS

啟動 Hadoop

接下來就打開網頁就會看到了「http://pc1:50070/」

由於 Hadoop 0.20.2 的 HDFS 檢查比較嚴謹,因此單機狀態下,會看到 http://pc1:50070 顯示Safe Mode is ON,代表 HDFS 目前是被封鎖住寫入權限,需等待至少 30 秒以後才會恢復正常。

測試:

移動到hadoop資料夾下

Continue Reading