마크다운으로 작성.
여기엔 보관용으로 마크다운 소스를 그대로 올렸음.
내용은 일단 Qiita쪽을 참조할 것.
初めてのHadoop
# Hadoop
## Hadoopとは
- doopaH?
- 大容量のデータを分散処理できる、JAVA基盤のオープンソースフレイームワーク
### ビックデータの登場
- 今はビックデータ(3V：大きさVolume, 速度Velocity, 多様性Variety)の時代。
- 既存のデータ処理方法では、ビックデータを扱いにくい
- 既存の定形データはRDBMSでも保存できるが、否定形データまで保存するにはデータが大きすぎる
### Hadoop
- ビックデータを分散処理できるJAVA基板のOpenSourceFramework
- Googleが論文で発表した分散処理技術GFSとMap ReduceをDoug CuttingがJavaで具現
- 名前の由来は、Doug Cuttingの息子のおもちゃの名前
- 分散ファイルシステム **HDFS(Hadoop Distributed File System)**でデータを保存
- 分散処理システム **Map Reduce**でデータを処理
- Hadoop Echo System
- Hadoop Core Project : HDFS, Map Reduce
- Sub Project : Zookeeper, HBase, Hive, …
### なぜHadoopなのか？
- SWライセンス費用：OpenSourceプロジェクトで、ライセンス費用の負担がない
- エキップメント：高いUNIX装備を使わず、LINUXサーバーだけあれば運営できる
- 安定性：データの複製本を保存し、データの異質や障害の発生でも復旧可能
- 分散コンピューティング：複数のサーバーにデータを保存し、各サーバーで同時にデータを処理
- 130年分の新聞記事をHadoopを使って一日でPDF化。一般のサーバーだと14年分の作業量
## 環境構築手順
### 目標
- 完全分散モードでのHadoop設定と例題実行
- SettingをしながらのHDFSとMapReduceの構造を説明
### 基本設定
- 装置スペック
- CPU : i3-4000M 2.40GHz
- RAM : 4.0GB
- OS : Microsoft Windows 8.1 Enterprise K 64Bit
- 実行モード：完全分散(Fully Distributed)モード
- ２つ以上の装置にHadoop環境を設定(ここではOracle VirtualBoxを使用)
- OS : CentOS-7.0
- Hadoopバージョン：1.2.1
- サーバー構成(４つのサーバーを準備します)
- test01 : NameNode
- test02 : Secondary NameNode, DataNode
- test03 : DataNode
- test04 : DataNode
#### **※ Hadoopのモード**
- 独立モード：Local(Standalone) Mode
- Local Machineで実行
- 他ノードとの通信をしないので、HDFSとデモンを使わない。
- 独立的にMap Reduceのロジック開発に使います。
- 仮想分散モード：Psudo-Distributed Mode
- 一台の装置でクラスタを構成し、すべてのデモンを実行
- ローカルモードのUpgrade板
- Hadoopを勉強する時に有用です。
- 完全分散モードFully-Distributed Mode
- 多数の装置でクラスタを構成し、分散保存・分散演算のすべての機能を実行。
#### **※ HDFSの構造**
- **ブロック構造**のファイル・システム
- HDFSに保存されるファイルは64MBのブロックに分けられて、分散されたサーバーに保存されます。
- ex) 200MBのファイルがHDFSに保存される時は、64MB, 64MB, 64MB, 8MBの４つのブロックになリます。
- 保存する時は、**基本的にブロック当たり３つのコピー本を保存**
- 一つのサーバーに全てのブロックを入れるのではなく、多数のサーバーに分けて保存することで、安全性が高まります。
- ex) 上の例のブロック１～４をDataNodeに保存するとしたら、DataNode1[1, 3, 4], DataNode2[1, 2, 3], DataNode3[2, 3, 4], DataNode4[1, 2, 4]みたいな形で分散。
- Master-Slaveアーキテクチャ
- NameNode（Master Server）：ファイルシステムの維持のためのメタデータを管理、データノードモニタリング、ブロック管理、クライエントの要求を受け取る
- DataNode（Slave Server）：クライエントがHDFSに保存するファイルを**メタデータ**（ファイル名・ファイル生成日など）と**ローデータ**（実際のデータ）に分けて、ローカルディスクに保存
- Secondary NameNode（Checkpointing Server）：NameNodeのメタデータのFile System Imageを周期的（基本１時間）に更新し、NameNodeの負担を軽くします。
### Linux Serverの準備
- 下準備
- [Oracle VM Virtualbox](https://www.virtualbox.org/wiki/Downloads)
- [CentOS](https://www.centos.org/download/)
- VM生成
- VirtualBoxをインストールしたら、新規をクリック
- 名前 : test01
- タイプ : Linux
- バージョン : Other Linux (64bit)
- メモリーサイズ : 512MB
- ハードタイプ : 仮想ハードドライブを作成する
- ハードドライブのファイルタイプ : VMDK(Virtual Machine Disk)
- ストレージ : 可変サイズ (4GB以上)
- CentOS インストール
- Test this media and Install CentOS
- 後、インストール画面が出たら、言語を設定し、後のインストールも進めます。
- Network設定
- ネットワークをONにして、Host名は上の通り、test01にします。
- インストール中にRoot暗号やユーザ設定をします。
- ここではRoot暗号をrootにしておきます。
- インストールが全部できたら、再起動を押します。
- もしここでインストールができなかったら、それはまだ３２－６４ビット設定ができてないからです。
- CMOSで、Advanced - CPUに入り、VirtualizationをEnabledに変更します。
- この作業を４回繰り返すと、Hadoopテストのサーバーは準備完了です。
### CentOSの設定
#### CentOS Update ＆ wget Install
- Update
- [root@test01 ~]$ **yum update**
- wgetインストール可能確認
- [root@test01 ~]$ **yum info wget**
- wgetインストール
- [root@test01 ~]$ **yum install wget -y**
- GUIモード設置
- [root@test01 ~]$ **yum groupinstall "base"**
- [root@test01 ~]$ **yum -y groups install "GNOME Desktop"**
- [root@test01 ~]$ **startx**
- 今後からはGUI環境で実行します。
#### JDK Install
- Hadoopを使うには、必ずJavaが必要ですので、JDKをインストールします。
- ここまで来たらmopenjdkがもう設置されていますが、ここではOracle JDKをインストールするようにします。
- 今設置されているJDKのVersion確認
- [root@test01 ~]$ **rpm -qa | grep jdk**
- 今のJDKを削除します。
- [root@test01 ~]$ **yum remove 今のJDK** ex) yum remove java-1.7.0-openjdk-1.7.0.85-2.6.1.2.el7_1.x86_64
- 削除確認
- [root@test01 ~]$ **rpm -qa | grep jdk**
- [root@test01 ~]$ **java**
- [root@test01 ~]$ **javac**
- [root@test01 ~]$ **java -version**
- OracleJDKを[ダウンロード](http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html)
- ダウンロードするJDKは、Linux x64の**jdk-8u60-linux-x64.tar.gz**です。
- ダウンロードしたJDKを、/usr/local フォルダに入れます。
- JDKのインストール
- Terminalを開き、RootでLoginします。
- フォルダ移動：[root@test01 ~]$ **cd /usr/local/**
- 権限修正：[root@test01 ~]$ **chmod 755 jdk-8u60-linux-x64.tar.gz**
- インストール（Unzip）：[root@test01 ~]$ **tar xvfz jdk-8u60-linux-x64.tar.gz**
- Symbolic Link ：[root@test01 ~]$ **ln -s jdk1.8.0_60 java** (JDKをすぐ探せるように)
- **ls -l**で確認すると、javaというSymbolic Linkがあるのを確認できます。
- 環境変数の登録
- /etc/profileを開き、一番下に次のように環境変数を登録します。
- [root@test01 ~]$ **export JAVA_HOME=/usr/local/java**
- [root@test01 ~]$ **export PATH=$PATH:$JAVA_HOME/bin**
- [root@test01 ~]$ **export CLASS_PATH="."**
- profileの編集が終わったらTerminalに戻り、変更されたprofileをシステムに適用します。
- [root@test01 ~]$ **source /etc/profile**
- JDK設置確認
- [root@test01 ~]$ **java**
- [root@test01 ~]$ **javac**
- [root@test01 ~]$ **java -version**
- **この方法で、すべてのサーバーにJDKを設置します。**
#### Network Setting
- Hadoopはサーバー間でSSHプロトコルを使って通信を行います。
- SSHでの通信は、IPまたはホスト名で接続できます。
- 今回はHost名を使って通信をしますので、test01～04の各サーバーに固定IPを設定し、各HostどんなIPを持つのかを定義するようにします。
- 装置のIP確認
- WindowsのCMD上で確認できます。（**Windowsキー＋R** → cmd → **ipconfig**）
- VirtualBox Network Setting
- 仮想マシンを右クリック→設定に入ります。
- ネットワーク設定で、アダプター１の設定を変更します。
>割り当て：ブリッジアダプター
>名前：（この装置の場合は）Intel(R) Wireless-N 7260
>プロミスキャスモード：すべて許可
- CentOSの私設IP設定
- CentOS7.0でのNetwork Interfaceの名称は、「en～」です。
- CentOSのターミナルでifconfigで確認してみると、今回は**「enp0s3」**でしたので、これを修正します。
- 設定ファイルの位置は、「/etc/sysconfig/network-script」の下です。ここで「ifcfg-enp0s3」を開き、修正します。
- Install時にNetworkをOnにしたら、基本的にはDHCPになってます。
>TYPE="Ethernet"
>BOOTPROTO="dhcp"
>DEFROUTE="yes"
>IPV4_FAILURE_FATAL="no"
>IPV6INIT="yes"
>IPV6_AUTOCONF="yes"
>IPV6_DEFROUTE="yes"
>IPV6_FAILURE_FATAL="no"
>NAME="enp0s3"
>UUID="48e57651-8bdb-4fa4-bb04-168de248f235"
>ONBOOT="yes"
>HWADDR="08:00:27:40:97:D4"
>PEERDNS="yes"
>PEERROUTES="yes"
>IPV6_PEERDNS="yes"
>IPV6_PEERROUTES="yes"
これを私の装置のIP固定IP帯域の「192.168.0.101」に設定します。
>TYPE="Ethernet"
>BOOTPROTO=**"static"**
>DEFROUTE="yes"
>IPV4_FAILURE_FATAL="no"
>IPV6INIT="yes"
>IPV6_AUTOCONF="yes"
>IPV6_DEFROUTE="yes"
>IPV6_FAILURE_FATAL="no"
>NAME="enp0s3"
>UUID="48e57651-8bdb-4fa4-bb04-168de248f235"
>ONBOOT="yes"
>HWADDR="08:00:27:40:97:D4"
>
>**IPADDR="192.168.0.101"**
>**NETMASK="255.255.255.0"**
>**GATEWAY="192.168.0.1"**
>**DNS1="192.168.1.1"**
>**DNS2="192.126.63.2"**
こうやって修正して保存し、ターミナルでNetworkを再起動します。
- 変更確認
>「service network restart」 または、「systemctl restart network」
- 再起動が終わったら、ifconfigでIPが「192.168.0.101」になったかを確認します。
- ちゃんと変更されたら、「ping 8.8.8.8」・「ping google.com」などで、インタネットができるのも確認します。
- 「64 Bytes from 8.8.8.8: icmp_seq=1 ttl=54 time=9.68 ms」などが出力されたらOKです。
- または、GUI画面でfirefoxを開き、インタネット接続ができるか確認してもOKです。
- この設定を残りのサーバーにも全部行います。固定IPは下の通りにしておきます。
> test01 :「192.168.0.101」
> test02 :「192.168.0.102」
> test03 :「192.168.0.103」
> test04 :「192.168.0.104」
- HOSTファイル修正(/etc/host)
- SSH接続で、サーバー間Host名がどんなIPを保有するのかを定義します。
- 一番下に、この通り入力すればOKです。この作業も４つ全部設定します。
> 192.168.0.101 test01
> 192.168.0.102 test02
> 192.168.0.103 test03
> 192.168.0.104 test04
#### SSH Setting
- NameNode(test01)で、他のサーバーに接続するため、SSHの設定をします。
- この作業は、rootではなく、他に作っておいたユーザ(hadoop)で行います。
- NameNodeでSSH公開キーを生成
- [hadoop@test01 ~]$ **ssh-keygen -t rsa**
- 生成確認
- [hadoop@test01 ~]$ **cat ~/.ssh/id_rsa.pub**
- ssh-copy-idで、他のサーバーにCopyすします。
- [hadoop@test01 ~]$ **ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub hadoop@test02**
- Are you sure you want to continue connecting? : yes
- hadoop@test02's password : hadoop
- ここまでできたら、後からは簡単にNameNodeからDataNodeへの接続が可能です。
- [hadoop@test01 ~]$ **ssh wikibbooks02**
- Passwordを確認せずに、そのままDataNodeへの接続ができるのを確認します。
- コピ作業を、他のServerにも繰り返します。
- [hadoop@test01 ~]$ **ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub hadoop@test03**
- [hadoop@test01 ~]$ **ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub hadoop@test04**
- [hadoop@test01 ~]$ **ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub hadoop@test01**
(test01 自分自身にもCopyします。)
### Hadoop Download, Install, Setting
#### Hadoop Downloadと設置
- [Hadoop Download](http://www.apache.org/dyn/closer.cgi/hadoop/common/)
- またはwgetでもダウンロードできます。
- **wget "http://www.eu.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz"**
- Rootでダウンロードした場合はそのままrootのhomeにhadoop-1.2.1.tar.gzがありますが、今回は別のユーザを使うので、tarファイルを**/home/hadoop（ユーザHadoopのホームディレクトリー）**に位置します。
- [root@test01 ~]# **su - hadoop**
- [hadoop@test01 ~]# **tar xvfz hadoop-1.2.1.tar.gz** (解凍・設置)
- [hadoop@test01 ~]# **ln -s hadoop-1.2.1 hadoop** (hadoop-1.2.1のSymbolicLink生成)
- この作業も、すべてのサーバーで行います。
#### Hadoop環境設定ファイル修正
- confフォルダ内の環境設定ファイルを修正することで、Hadoopの設置作業は終わります。
- hadoop-env.sh : Hadoopを実行するセールスクリプトダイルで必要な環境変数を設定。JDK経路、クラスパス、デモン実行オプションなど
- masters : SecondaryNameNodeServer設定
- slaves : DataNodeServer設定
- core-site.xml : HDFSとMapReduceで共通に使う環境情報を設定
- hdfs-site.xml : HDFSでの環境情報設定
- mapred-site.xml : MapReduceでの環境情報を設定
- hadoop-env.sh 修正
- JAVA_HOMEを実際のJDK経路に修正します。「**export JAVA_HOME=/usr/local/java**」
- HadoopデモンのPID情報のディレクトリーを設定します。「**export HADOOP_PID_DIR=/home/hadoop/hadoop-1.2.1/pids**」
- masters 修正
- SecondaryNameNodeで使うサーバーを設定します。「**test02**」
- slaves 修正
- データノードを実行するサーバーを設定します。一行に一つづつ書きます。「**test02**, **test03**, **test04**」
- core-site.xml 修正
```xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://test01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-data/</value>
</property>
</configuration>
```
- hdfs-site.xml 修正
```xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.http.address</name>
<value>test01:50070</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>test02:50090</value>
</property>
</configuration>
```
- mapred-site.xml 修正
```xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>test01:9001</value>
</property>
</configuration>
```
- 全てのデータノードサーバーに同じ設定をします。
- 今まで修正したconfフォルダのファイルをscpを利用して各サーバーに送ります。
- **[hadoop@test01 ~]$ scp -r /home/hadoop/hadoop/conf hadoop@test02:/home/hadoop/hadoop/**
- **[hadoop@test01 ~]$ scp -r /home/hadoop/hadoop/conf hadoop@test03:/home/hadoop/hadoop/**
- **[hadoop@test01 ~]$ scp -r /home/hadoop/hadoop/conf hadoop@test04:/home/hadoop/hadoop/**
### Hadoop実行
- NameNodeを初期化し、すべてのデモンを実行するとHadoopが実行されます。
- Hadoop Namenode Format
- **[hadoop@test01 hadoop]$ ./bin/hadoop namenode -format**
- すべてのデモンを実行
- **[hadoop@test01 hadoop]$ ./bin/start-all.sh**
- Hadoopデモン実行確認
- NameNode Serverでの確認：**[hadoop@test01 hadoop]$ jps**
- NameNode, JobTrackerが出力されたらオッケーです。
- DataNode Serverでの確認：**[hadoop@test02 ~]$ jps**
- DataNode, TaskTrackerが出力されたらオッケーです。test02はSecondaryNameNodeなので、追加にSecondaryNameNodeも出力されます。
- Hadoop Web Interface
- ここまでできたら、WebInterfaceにも入れます。
- ウェブブラウザーで、「http://NameNodeServer IP:50070」に入ることで、ウェブ画面が出ます。
- このページでは、HDFSの状態情報やNameNodeに入っているHadoopLog、HDFSに保存されたファイルを見れます。
#### **※ Map Reduce**
- Map Reduce : HDFSに保存されたファイルを分散・配置・分析できるように助けてくれるFramework。
- 開発者がMap Reduce Programming Modelによる分析ロジックを具現すると、データ伝送や分散処理などの作業はMap Reduce Frameworkが自動で処理します。
- Map Reduceプログラミングモデルは、MapとReduceの二段階でデータを処理します。
- Map : Transformation - 入力されたファイルを一行づつ読み込んでデータを変形。
- Reduce : Aggregation - Mapの結果のデータを集計。
- ex) Read a newspaper, Read a book を入力時…
>**入力**
>read a newspaper / read a book
>
>**Map**
>read 1 / read 1
>a 1 / a 1
>newspaper 1 / book 1
>
>**Reduce**
>read 1
>a 1
>newspaper 1
>read 1
>a 1
>book 1
>
>**出力**
>read 2
>a 2
>newspaper 1
>book 1
- Map Reduceシステムの構成
- Client : ユーザが実行したMap Reduceプログラム＆Hadoopで提供するMap Reduce APIです。
- Job Tracker : Map Reduceプログラムは「job」という作業単位で管理されますが、このjobのスケジュールを管理・モニタリングするのが「JobTracker」です。
- Task Tracker : ユーザが設定したMap Reduceプログラムを実行します。（JobTrackerが要請した「Map」と「Reduce」の個数ほどの「MapTask」と「ReduceTask」を生成・実行します。
## 例題実行
### WordCount
- Hadoopは例題のコードとjarファイルを提供します。
- 今回は例題で提供される「WordCount」という、単語の個数を数えるプログラムを使ってhadoop-env.shファイルの単語個数を数えみます。
- まず、hadoop-env.shファイルをHDFSにアップロードします。
- **[hadoop@test01 hadoop]$ ./bin/hadoop fs -put conf/hadoop-env.sh conf/hadoop-env.sh**
- **fs (FileSystemShell)**：使用者がHDFSを簡単に制御するために使う命令語。
- Hadoopのホームディレクトリーで「 **./bin/hadoop fs - cmd [asgs]** 」の形で実行します。
- Hadoop命令語を使って、**hadoop-examples-*.jar**ファイルにあるwordcount Classを実行します。
- **[hadoop@test01 hadoop]$ ./bin/hadoop jar hadoop-examples-*.jar wordcount conf/hadoop-env.sh wordcount-output**
- 入力値は「conf/hadoop-env.sh」、出力値は「output」フォルダです。
- 後は、wordcountの出力値が正常的に作られたかの確認です。
- **[hadoop@test01 hadoop]$ ./bin/hadoop fs -cat wordcount_output/part-r-00000**
- これで、hadoop-env.shファイルの単語別個数が出力されるのを見れます。
## まとめ
### **Hadoopは、RDBMSを代替する魔術棒ではありません**
- Hadoopは既存のRDBMS（Oracle, MS-SQL, MySQLなど）と相互補完の関係です。
- 大量のログやデータを早く処理する時は確かに、Hadoopを使うのがいいです。
- でもHadoopは秒単位以下でデータをお互い報告したり、多段階の複雑なトランザクションでのデータの運用などには強くないです。
- なので、**データ完全性**と**正確さ**が要求される、銀行取引などの作業には今の通りRDBMSが適合です。
- また、データが挿入と削除で更新される場合にもRDBMSを使った方が効果的です。
### **始め半分**
- 今日の発表ではHadoop勉強のための環境構築や簡単な動き方を調べてみました。
- どんなシステムでも、最初のSettingが一番つらいもの。
- これで誰でもHadoopを実行できる環境が構築できますので、皆さんもスペックアップの一貫でHadoopを始めるのはどうでしょうか？
## 参考
- Hadoop-The Definitive Guide (Tom White)
- 시작하세요! 하둡 프로그래밍 (정재화)
- [MapR Academy](https://www.mapr.com/services/mapr-academy/big-data-hadoop-online-training)
- [Oracle VirtureBoxでのCentOS設置](http://zetawiki.com/wiki/VirtualBox_CentOS_6_%EC%84%A4%EC%B9%98)
- [目標設定参考](http://kertz.egloos.com/209218)
- [CentOS7でifconfig使用](http://confile.info/2212)
- [CentOS7 Network Setting 参考1](http://manseok.blogspot.jp/2014/08/centos-70.html)
- [CentOS Network Setting 参考2](http://www.gooday.kr/bbs/board.php?bo_table=note&wr_id=163)
- [CentOS Network Setting 参考3](http://webdir.tistory.com/116)
- [Hadoop設置](http://evir.tistory.com/category/Hadoop)
- [WordCount使用方法](http://gorakgarak.tistory.com/373)
参考資料_151009.xlsx