도쿄사는 외노자

@markdown 初めてのHadoop # Hadoop ## Hadoopとは- doopaH?- 大容量のデータを分散処理できる、JAVA基盤のオープンソースフレイームワーク ### ビックデータの登場- 今はビックデータ(3V：大きさVolume, 速度Velocity, 多様性Variety)の時代。- 既存のデータ処理方法では、ビックデータを扱いにくい - 既存の定形データはRDBMSでも保存できるが、否定形データまで保存するにはデータが大きすぎる ### Hadoop- ビックデータを分散処理できるJAVA基板のOpenSourceFramework- Googleが論文で発表した分散処理技術GFSとMap ReduceをDoug CuttingがJavaで具現- 名前の由来は、Doug Cuttingの息子のおもちゃの名前- 分散ファイルシステム **HDFS(Hado..

Qiita로 이동 (Qiitaの方へ移動) 언어 : 일본어言語：日本語 마크다운으로 작성.Markdownで作成。 여기엔 보관용으로 마크다운 소스를 그대로 올렸음.ここには保存のため、Markdownのままで乗せました。 내용은 일단 Qiita쪽을 참조할 것.内容については、上のQiitaの方を参考してください。 初めてのHadoop # Hadoop ## Hadoopとは- doopaH?- 大容量のデータを分散処理できる、JAVA基盤のオープンソースフレイームワーク ### ビックデータの登場- 今はビックデータ(3V：大きさVolume, 速度Velocity, 多様性Variety)の時代。- 既存のデータ処理方法では、ビックデータを扱いにくい - 既存の定形データはRDBMSでも保存できるが、否定形データまで保存するにはデータが大きすぎる ### Hadoo..

0. Hadoop이란? 하둡의 화두는 '분산' 입니다. 하둡은 '처리(계산)' 와 '저장'이라는 두 가지 큰 요소를 '분산'이라는 주제로 결합한 것입니다. 이는 곧 '분산처리' 와 '분산저장' 이라고 보면 되겠습니다. 간단히 말하자면, 여러개의 저가형 컴퓨터를 마치 하나인 것처럼 묶어주는 기술이라고 보면 됩니다.(이를 통해 계산 능력과 저장 공간을 늘릴 수 있습니다.) 분산처리 맵 리듀스(Map Reduce)라는 프레임워크를 이용해서 분산 처리를 실시합니다. Map Reduce는 Map과 Reduce 라는 두가지 형식으로 나누어 집니다. Map 함수에서 데이타를 처리하고, Reduce 함수에서 원하는 결과값을 계산시킵니다. 이 프레임워크에 맞추어서 코딩을 하고, 하둡 시스템에서 이를 실행하면 자동으로 분..