インフラエンジニアのためのHadoop情報　Gangliaその１：So-net Developer Blog：So-netブログ

	ブログをはじめるログイン

インフラエンジニアのためのHadoop情..｜インフラエンジニアのためのHadoop情.. ブログトップ

インフラエンジニアのためのHadoop情報　Gangliaその１　[Hadoop] [編集]

これまではHadoopの死活監視が目的のNagios設定を見てきましたが、HadoopはJMX
を通してメモリ使用状況、ジョブ（MapReduce)の進行状況を詳細に見ることができます。
このJMXの値を、Gangliaというグラフ表示の監視ツールを使って可視化しましょう。
ジョブの投入状況に合わせて、メモリやCPUの利用率が各ノード毎にグラフ化されて
見えるので、ボトルネックの発見に役立つはずです。
Gangliaのインストールは終わっているものとして・・・としたいところですが
Nagiosと違って、Hadoopの各ノード側全てにインストールしなければいけないので
ちょっと面倒。
rpmパッケージを作って、各ノードに配布しちゃいましょう。
まずは、Ganglia監視サーバ側を作成。
rpm化にはcheckinstallを使います。あらかじめインストールしておきます。
ビルドに必要なものを片っ端からインストール。

$ sudo yum install rpm-build
$ sudo yum install checkinstall
$ sudo yum install libconfuse
$ sudo yum install libconfuse-devel
$ sudo yum install rrdtool
$ sudo yum install rrdtool-devel
$ sudo yum install gcc
$ sudo yum install apr-devel
$ sudo yum install expat-devel
$ sudo yum install pcre-devel
$ sudo yum install php
$ sudo yum install php-gd
$ sudo yum install httpd

次にGangliaのサイトから「ganglia-3.1.7.tar.gz」を取得してきてビルド。

$ tar xvf ganglia-3.1.7.tar.gz
$ cd ganglia-3.1.7
$ ./configure --with-gmetad --sysconfdir=/etc/ganglia
$ make
$ sudo /usr/sbin/checkinstall

出来上がった「ganglia-3.1.7-1.i386.rpm」をインストール。

$ sudo rpm -ivh ganglia-3.1.7-1.i386.rpm

このあと、設定ファイル、作業ディレクトリ作成、パーミッション設定、起動スクリプト作成
その他いろいろしないと起動しないのですが、これらもrpm化したパッケージを作ったので
それで早道しちゃいます。

http://github.com/so-net-developer/Hadoop/blob/master/tools/ganglia-conf-1.0-0.noarch.rpm

rpm化に使ったSPECファイルも置いておくので、何をやっているかはこれを見てください。

http://github.com/so-net-developer/Hadoop/blob/master/tools/ganglia-conf-1.0.spec

$ sudo rpm -ivh ganglia-conf-1.0-0.noarch.rpm

Ganglia監視サーバの起動。

$ sudo /sbin/service gmetad start
$ sudo /sbin/service gmond start
$ sudo /sbin/service httpd start

参考までに、SPECファイルを使ってganglia-conf-1.0-0.noarch.rpmを作る方法を書いて
おきます。
まず、下に示すようなディレクトリを作り、ファイルを配置します。設定ファイルや起動
スクリプトもgangliaのソースを展開すると見つかるので、環境に合わせて修正したものを
配置します。

|-- ganglia-conf-1.0
|   |-- etc
|   |   |-- ganglia                 ←ganglia(gmond)用設定ファイル
|   |   |   `-- gmond.conf
|   |   `-- init.d                  ←gangliaの起動スクリプト
|   |       |-- gmetad
|   |       `-- gmond
|   `-- var
|       `-- www
|           `-- html
|               `-- ganglia         ←gangliaのソース中にあるwebディレクトリ以下全部
|                   |-- index.php
|                   |-- 省略
|                   `-- version.php.in
`-- rpm
    |-- BUILD
    |-- RPMS
    |-- SOURCES
    |-- SPECS
    |   `-- ganglia-conf-1.0.spec
    `-- SRPMS

そして、homeディレクトリに上に示したrpmディレクトリを示すファイル「.rpmmacros」
を作ります。

$ echo "%_topdir /home/so-net/rpm" > .rpmmacros

そして、以下のようにtarファイルをSOURCES以下に作成します。

$ tar czvf rpm/SOURCES/ganglia-conf-1.0.tar.gz ganglia-conf-1.0

最後にrpmbuildコマンドでspecファイルを指定すればrpm/RPMS以下にrpmファイルが作られます。

$ rpmbuild -ba rpm/SPECS/ganglia-conf-1.0.spec

次回は、Hadoopノード側のインストール。

2010-11-01 10:29 nice!(0) コメント(13) トラックバック(0)
共通テーマ：パソコン・インターネット

nice! 0

http://www.nfljerseys.us/ Cheap NFL Jerseys

http://www.yeezy-boost350v2.com/ Yeezy 350 Boost V2

http://www.raybanoutletclearance.com/ Ray Ban Outlet

http://www.longchampbags.us.com/ Longchamp Outlet

http://www.tomsoutlet-online.us.com/ Toms Outlet

http://www.adidas-uk.org.uk/ Adidas

http://www.yeezy.com.co/ Yeezy

http://www.raybansunglasses.ca/ Ray Ban Sunglasses

http://www.yeezys.org/ Yeezys

http://www.kade-sapde.us.com/ Kade Sapde

http://www.adidasoutlets.us.com/ Adidas Outlet

http://www.nike-stores.fr/ Nike Store

http://www.underarmouroutlet.us.com/ Under Armour

http://www.timberlanduk.org.uk/ Timberland

http://www.jordan12.us/ Jordan 12

http://www.yeezy-shoes.us.com/ Yeezy Shoes

http://www.yeezyboost350.us.com/ Yeezy 350

http://www.nikeairmax.us/ Nike Air Max

http://www.outlettoms.us/toms-women-c-1/ Toms Outlet

http://www.ultraboostuncaged.us/ Ultra Boost

http://www.mlb-jerseys.us/ Cheap MLB Jerseys

http://www.adidas-nmds.com/ Adidas NMD

http://www.oakleyoutlet.net.co/ Oakley Outlet

http://www.katespadeoutlets.us/ Kate Spade Outlet

http://www.adidas-outlet.org/ Adidas Outlet

http://www.nikeairmax-90.com/ Nike Air Max 90

http://www.timberland-outlet.us/ Timberland Outlet

http://www.adidas-nmd.org.uk/ Adidas NMD

http://www.adidaseqt.com/ Adidas EQT

http://www.ralphlaurens.org.uk/ Ralph Lauren UK

http://www.jordan4.us/ Jordan 4

http://www.cheapjordan-shoes.com/ Cheap Jordan

http://www.adidasnmdoutlet.com/ Adidas NMD

http://www.katespadeoutlet.us.org/ Kate Spade Outlet

http://www.longchamp-outlet.ca/ Longchamp Outlet

http://www.adidasnmdsales.us/ Adidas NMD R1

http://www.nike-airmax90.com/ Nike Air Max90

http://www.running-shoes.top/ Running shoes

http://www.starboots.us/ Basketball Shoes

http://www.michael-kors-bags.us/ Michael Kors bags

http://www.yeezy-outlet.us/ Adidas Yeezy

http://www.asics.us.com/ Asics shoes

http://www.coach-online.us/ Coach online

http://www.timberland-outlets.org/ Timberland shoes

http://www.jordan-air.us/ Jordan Shoes

http://www.adidasyeezy.org/ Adidas Yeezy Shoes

http://www.vapor-max.com/ Nike Air Vapor Max

http://www.rayban.com.co ray ban sunglasses

http://www.nike-store.us Nike Outlet

http://www.longchamp--bags.com longchamp bags

http://www.adidas-shoes.us Adidas Shoes

http://www.nike-outletstore.com Nike Shoes

http://www.yeezy-boost350.com Yeezy Shoes

http://www.jamesshoes.org james Sale

http://www.adidas-online.us Adidas NMD

http://www.jordan--shoes.org Jordan 12

http://www.air-max2017.com Air Max Outlet

http://www.asicsgel.org Asics Gel

http://www.flipflops.us.com Flip Flopst

http://www.ray-bans.in.net ray ban sunglasses

http://www.oakleysunglassesoutlet.net oakley sunglasses

http://www.oakleysunglassesstore.us oakley sunglasses

http://www.cheapoakleysunglasses.biz cheap oakley sunglasses
コメントを書
http://www.cheapraybansunglasses.biz cheap rayban sunglasses

http://www.dressesforwomen.us Nike Shoes
by Toms Outlet (2017-07-02 13:43)

コメントを書く

トラックバック 0

インフラエンジニアのためのHadoop情..｜インフラエンジニアのためのHadoop情.. ブログトップ

日	月	火	水	木	金	土
			1	2	3	4
5	6	7	8	9	10	11
12	13	14	15	16	17	18
19	20	21	22	23	24	25
26	27	28	29	30	31

RSS1.0 | RSS2.0

So-net Developer Blog

インフラエンジニアのためのHadoop情報　Gangliaその１　[Hadoop] [編集]

nice! 0

コメント 13

コメントを書く

トラックバック 0

sd さん

sd さんの記事をnice!と思った人 (全0人)

カレンダー

月別表示

最新記事一覧

マイカテゴリー

sd さんがnice!と思った記事

sd さんがコメントした記事

最近のコメント

最近トラックバックされた記事

読んでいるブログ(RSS)

検索ボックス

So-net Developer Blog

インフラエンジニアのためのHadoop情報 Gangliaその１ [Hadoop] [編集]

nice! 0

コメント 13

コメントを書く

トラックバック 0

sd さん

sd さんの記事をnice!と思った人 (全0人)

カレンダー

月別表示

最新記事一覧

マイカテゴリー

sd さんがnice!と思った記事

sd さんがコメントした記事

最近のコメント

最近トラックバックされた記事

読んでいるブログ(RSS)

検索ボックス

インフラエンジニアのためのHadoop情報　Gangliaその１　[Hadoop] [編集]