シェアする

  • このエントリーをはてなブックマークに追加





【Windows】Hadoopを動かしてみる

シェアする

  • このエントリーをはてなブックマークに追加
  • 0

この前までApache Sparkを使ったお仕事をしていましたが、

今度はHadoopをそのまま使ったお仕事になりそう。

ということで、何はともあれ動かしてみようと思います。

ただ、サイトで検索すると大体がlinuxやmacでの使用方法ばかりだったので、

windowsでサクッと動かしてみたメモを書いておこうと思います。

公式サイトからHadoopをダウンロード

Hadoopプロジェクトサイトからディストリビューションをダウンロードします。

サイトを開いたら、どのリンクでもよいのでリンク先に遷移して、

hadoop-2.8.5のリンクへ遷移し、hadoop-2.8.5.tar.gzをダウンロードして

任意の場所に解凍します。

JDKダウンロード

Java SDKダウンロードページからSDKをダウンロードします。

インストーラであればそのままインストールして、

アーカイブであれば任意の場所に解凍します。

環境変数設定

HadoopとJDKの環境変数を以下のように設定します。

HADOOP_HOME ⇒ Hadoopを解凍して作成されたフォルダパス

例) C:\temp\hadoop-2.8.5

JAVA_HOME ⇒ jdkのインストールパス

例)C:\Program Files\Java\jdk1.8.0_231

一旦動作確認

とりあえずここまでで動作確認します。

簡単な「version」コマンドで実行してみましょう。

この結果でHadoopのversionが表示されればOKです。

wordcountを動かしてみよう

必要資材の取得

よく入門サイトにあるwordcountを動かしてみましょう。

wordcountはhadoop-examples.jarに存在するようですが、

実行対象となる「hadoop-examples.jar」は、

ダウンロードしたディストリビューションの中には存在しません。

なので、こちらからダウンロードします。

格納先は%HADOOP_HOME%\binにします。

また、windowsでスタンドアロンで実行させるために

winutils.exeとhadoop.dllが必要です。

これらはhadoopのコアのプログラムでOSのシェルコマンド実行に使用されます。

こちらからダウンロードします。

格納先はhadoop-examples.jarと同じく%HADOOP_HOME%\binにします。

※このGitHubでは2.8.3とディレクトリ表示されていますが、

wordcountは問題なく動作します。

入力データ作成

以下のコマンドを実行して、作成されたtext.txtを

%HADOOP_HOME%\bin\inputに格納します。

※inputフォルダは存在しないので、作成します。

実行

以下のコマンドを実行してみましょう。

%HADOOP_HOME%\bin\outputフォルダに結果が出力されます。

例)part-r-00000

このファイルに

このような形で出力されているはずです。

また、出力フォルダは存在するとエラーになりますので、

注意してください。

コマンドの形式はとなります

hadoop <jarパス> <実行クラス名> <インプットフォルダ> <アウトプットフォルダ>

まとめ

とりあえず環境を整えサラッと実行するまでの手順でした。

近々、今度は自分でMapReduceをプログラムして

実行してみたいと思います。

それでは!!

ブログランキング・にほんブログ村へ
にほんブログ村


人気ブログランキング

20代前半までは東京で音楽をやりながら両手の指以上の業種でアルバイト生活をしていましたが、某大手プロバイダのテレアポのバイトでPCの知識の無さに愕然とし、コンピュータをもっと知りたい!と思ったことをきっかけに25歳の時にITの世界に未経験で飛び込みました。
紆余曲折を経て、現在は個人事業主としてお仕事させていただいており、10年ほどになります。
web制作から企業システム構築、ツール開発など、フロントエンドもバックエンドもサーバーもDBAも依頼があれば何でもやってきた雑食系エンジニアです。

今風にいうとフルスタックエンジニアということになるのかしら??

→ 詳細プロフィールというか、生い立ちはこちら

→スキルシートをご覧になる場合はこちら

→お仕事のご依頼やお見積りなどお問い合わせはこちらから!

シェアする

  • このエントリーをはてなブックマークに追加

フォローはいかがですか?