Hadoop

Hadoopのインストールと実行方法(スタンドアロンモード)

Apache™ Hadoop®! のインストールとスタンドアロンモードでの実行方法についてです。

Hadoop Streaming の使い方について(サンプルRuby)

Java以外の言語を使用して MapReduce を実行することのできる Hadoop Streaming の使用についてです。ディストリビューションに付属しているユーティリティであり、データを標準入出力を介して受け渡すため、標準入出力が扱える言語であれば MapReduce ジョ…

Cloudera Quickstart VM(CDH5)をVirtualBoxで起動してHadoopの環境構築をする

前回、手動でCDHをインストールしてシングルノードのHadoopクラスタを構築する方法を書きました。今回はCloudera社が提供している QuickStartVM を使用すると、Cloudera Managerも含めた環境を簡単に使用できるようになって便利だったので、手順をまとめて…

CDH5で擬似分散モードのHadoopクラスタを構築する

CDH5を使用した擬似分散モードでのHadoopクラスタ構築方法です。ローカルマシンでメモリが少ないと複数のVMを立ち上げて完全分散モードで構築するのは難しいですが、擬似分散モードならVMも一つで済み、少ないメモリで構築することが可能です。