SlideShare a Scribd company logo
1 of 52
Download to read offline
Hatoholの 
ログ蓄積・検索機能 
2014/12版 
須藤功平 
株式会社クリアコード 
2014/12/09 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
内容 
ログ蓄積・検索機能の概要 
✓ただし2014年12月時点での情報 
✓ 
詳細はWikiを参照 
https://github.com/project-hatohol/hatohol/wiki/ 
Log-archive 
✓ 
https://github.com/project-hatohol/hatohol/wiki/ 
Log-search 
✓ 
✓ 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
目的 
✓現状を共有すること 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
蓄積:解決したい問題 
大量のログを蓄積したい 
目的:ルールを満たすため 
例:一定期間の過去ログ蓄積が義務 
✓ 
目的:問題発生時期の特定 
問題発覚時にいつから問題が起こっていたかを確認 
✓ 
✓ 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
蓄積:解決方法の問題 
✓ZabbixでやるならRDBMSへ蓄積 
RDBMSへ蓄積:オーバースペック 
リソース消費が割にあわない 
✓ 
✓めったに参照しない 
✓処理量が多い 
レプリケーション必須 
✓失いたくないデータだから 
✓ 
✓ 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
蓄積:解決方針 
ファイルに保存 
✓オーバーヘッドが少ない 
✓扱いやすい(コピー・圧縮) 
✓ 
Fluentdと連携 
✓データ配送システム 
✓ 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
蓄積:構成 
監視対象ルーティングノード 
ログ 
収集・転送 
コピー・圧縮 
対応 
コピー・転送 
蓄積ノード 
ソート・圧縮・蓄積 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
蓄積:ポイント(1) 
監視対象は生ログを収集・転送 
✓直接蓄積ノードに送らない 
✓ 
ルーティングノードの導入 
✓目的:構成変更耐性の強化 
✓変更:蓄積ノードの増減 
✓全監視対象を変更するより楽 
✓ 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
蓄積:ポイント(2) 
蓄積ノードでのソート 
✓時間順にログが届くとは限らない 
✓一定時間バッファリング 
✓バッファ内をソート後に書き込み 
↑用プラグインは新規開発 
(fluent-plugin-sort) 
✓ 
✓ 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
蓄積:タグ設計 
監視対象 
raw.${type}.✓ log.${host_name} 
✓例:raw.messages.log.node1 
✓ 
蓄積ノード 
✓raw....→ソート→sorted.raw.... 
✓→蓄積 
✓ 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
蓄積:設定:監視対象(1) 
<source> 
type tail 
path /var/log/messages 
pos_file /var/log/td-agent/messages.pos 
tag "raw.messages.log.#{Socket.gethostname}" 
format none 
</source> 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
蓄積:設定:監視対象(2) 
<match raw.*.log.**> 
type copy 
<store> 
type secure_forward 
shared_key fluentd-secret 
self_hostname "#{Socket.gethostname}" 
# バッファー設定は省略 
<server> 
host router1.example.com 
</server> # ←ルーティングノードの数だけ書く 
</store> 
</match> 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
蓄積:設定:ルーター(1) 
# 受信 
<source> 
type secure_forward 
shared_key fluentd-secret 
self_hostname "#{Socket.gethostname}" 
cert_auto_generate yes 
</source> 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
蓄積:設定:ルーター(2) 
<match raw.*.log.**> # 転送 
type forest 
subtype secure_forward 
<template> # 共通設定 
shared_key fluentd-secret 
self_hostname "#{Socket.gethostname}" 
# バッファー設定は省略 
</template> 
# 個別ケースは後述 
<case **> # デフォルト 
<server> 
host archiver2.example.com 
</server> 
</case> 
</match> 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
蓄積:設定:ルーター(3) 
# 個別設定 
<case raw.*.log.node1.example.com> 
<server> 
host archiver1.example.com 
</server> 
</case> 
<case raw.*.log.node2.example.com> 
<server> 
host archiver2.example.com 
</server> 
</case> 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
蓄積:設定:蓄積(1) 
# 受信 
<source> 
type secure_forward 
shared_key fluentd-secret 
self_hostname "#{Socket.gethostname}" 
cert_auto_generate yes 
</source> 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
蓄積:設定:蓄積(2) 
# ソート 
<match raw.**> 
type sort 
add_tag_prefix sorted. 
buffer_type file 
buffer_path /var/spool/td-agent/buffer/sort 
flush_interval 60 
</match> 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
蓄積:設定:蓄積(3) 
# タグの並び替え(次の処理をしやすくするためだけ) 
# sorted.raw.${type}.log.${host_name} 
# ↓ 
# archive.raw.log.${host_name}.${type} 
<match sorted.raw.**> 
type record_reformer 
enable_ruby false 
tag archive.${tag_parts[1]}.${tag_parts[3]}.${tag_suffix[4]}.${tag_parts[2]} 
</match> 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
蓄積:設定:蓄積(4) 
<match archive.raw.log.**> # ←蓄積 
type forest 
remove_prefix archive.raw.log 
# ↓タグの区切りでディレクトリーを掘る 
escape_tag_separator / 
subtype file 
<template> 
path /var/log/archive/${escaped_tag} 
compress gz # ← 圧縮 
format single_value 
append true 
flush_interval 60 
</template> 
</match> 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
蓄積:Hatohol連携 
なし 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
蓄積:Hatohol連携案(1) 
蓄積ノードへリンク 
✓ログは単なるファイル 
✓HTTPで公開することは簡単 
✓ 
課題 
✓アクセス権限はどうする? 
✓Hatoholが認可サーバーになる? 
✓HatoholをLDAP対応させる? 
✓ 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
蓄積:Hatohol連携案(2) 
ログ検索システムへのロードUI 
検索→ログ検索システム(後述)へ 
ロードが必要 
✓ 
✓ロードはfluent-catで可能 
✓ 
課題 
✓蓄積ノードでのコマンド実行が必要 
✓ホスト管理機能との連携で可能? 
✓ 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:解決したい問題 
ログの確認が面倒 
対象ホスト数が多い 
(Hatoholは大規模システム用のソフトウェア) 
✓ 
✓個別にログインするのが面倒 
対象ログ数が多い 
✓該当ログを探すのが面倒 
✓ 
✓ 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:解決方法 
✓全文検索システムの利用 
要件 
✓最新のログをすぐに検索できる 
✓十分高速 
✓検索対象は最新数週間から数ヶ月 
✓ 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:全文検索システム 
Groongaを採用 
✓即時検索可能・十分高速 
追加中も検索性能が落ちない 
(ログは常に追加される) 
✓ 
nginxのモジュールとしても使える 
nginxの機能・ノウハウを使える 
(HTTPSや認証周りなど) 
✓ 
✓ 
✓運用が容易 
✓ 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:構成 
監視対象ログパース 
ノード 
Hatohol Groonga 
by Groonga project 
ログ 
収集・転送パース・転送 
検索ノード 
by Groonga project 
蓄積・検索 
パース済 
ログ 
リンク 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:ポイント 
監視対象は生ログを収集・転送 
✓パースしない 
✓ログ蓄積と同じ設定→共通化可能 
✓ 
ログパースノードの導入 
✓監視対象の負荷を下げる 
✓ 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:構成:共通化 
監視対象 
ルーティング 
ノード 
(蓄積) 
ログパース 
ノード 
(検索) 
ログ 
収集・コピー・転送 
パース済 
ログ 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:タグ設計(1) 
監視対象 
raw.${type}.✓ log.${host_name} 
✓例:raw.messages.log.node1 
✓ 
ログパースノード 
✓raw.${type}....→パース→ 
✓${type}....→フォーマット→log 
✓ 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:タグ設計(2) 
検索ノード 
✓log→Groonga 
✓ 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:設定:監視対象(1) 
<source> 
type tail 
path /var/log/messages 
pos_file /var/log/td-agent/messages.pos 
tag "raw.messages.log.#{Socket.gethostname}" 
format none 
</source> 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:設定:監視対象(2) 
<match raw.*.log.**> 
type copy 
<store> 
# 蓄積用設定 
</store> 
<store> 
type secure_forward 
# 蓄積用と同じなので設定は省略 
<server> 
host parser1.example.com 
</server> # ←ログパースノードの数だけ書く 
</store> 
</match> 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:設定:パース(1) 
# 受信 
<source> 
type secure_forward 
shared_key fluentd-secret 
self_hostname "#{Socket.gethostname}" 
cert_auto_generate yes 
</source> 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:設定:パース(2) 
# パース 
<match raw.*.log.**> 
type forest 
subtype parser 
<template> 
key_name message 
</template> 
<case raw.messages.log.**> 
remove_prefix raw 
format syslog # ← messages型はsyslogとしてパース 
</case> 
</match> 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:設定:パース(3) 
# フォーマット 
<match *.log.*.**> 
type record_reformer 
enable_ruby false 
tag ${tag_parts[1]} # ←tagをlogだけにする 
<record> # メタデータをデータにする 
host ${tag_suffix[2]} 
type ${tag_parts[0]} 
timestamp ${time} 
</record> 
</match> 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:設定:パース(4) 
# 転送 
<match log> 
type secure_forward 
shared_key fluentd-secret 
self_hostname "#{Socket.gethostname}" 
# バッファー設定は省略 
<server> 
host search.example.com 
</server> 
</match> 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:設定:検索(1) 
# 受信 
<source> 
type secure_forward 
shared_key fluentd-secret 
self_hostname "#{Socket.gethostname}" 
cert_auto_generate yes 
</source> 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:設定:検索(2) 
# 保存 
<match log> 
type groonga 
store_table Logs 
# バッファー設定は省略 
protocol http 
host 127.0.0.1 
# スキーマ定義 
</match> 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:設定:検索(3) 
# スキーマ定義 
<match log> 
<table> # 全文検索用語彙表 
name Terms 
flags TABLE_PAT_KEY 
key_type ShortText 
default_tokenizer TokenBigram 
normalizer NormalizerAuto 
</table> 
</match> 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:設定:検索(4) 
# スキーマ定義 
<match log> 
<table> # ホスト名データを共有 
name Hosts 
flags TABLE_PAT_KEY 
key_type ShortText 
# normalizer NormalizerAuto 
</table> 
</match> 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:設定:検索(5) 
# スキーマ定義 
<match log> 
<table> # タイムスタンプ用語彙表 
name Timestamps 
flags TABLE_PAT_KEY 
key_type Time 
</table> 
</match> 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:設定:検索(6) 
# スキーマ定義 
<match log> 
<mapping> # ホスト名データを共有 
name host 
type Hosts 
<index> # 高速検索のための索引定義 
table Hosts 
name logs_index 
</index> 
</mapping> 
</match> 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:設定:検索(7) 
# スキーマ定義 
<match log> 
<mapping> 
name timestamp 
type Time 
<index> # 高速検索のための索引定義 
table Timestamps 
name logs_index 
</index> 
</mapping> 
</mapping> 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:設定:検索(7) 
# スキーマ定義 
<match log> 
<mapping> 
name message 
type Text 
<index> # 全文検索用索引定義 
table Terms 
name logs_message_index 
</index> 
</mapping> 
</match> 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:設定:Hatohol(1) 
検索UI管理画面に移動 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:設定:Hatohol(2) 
検索UIの追加フォームを出す 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:設定:Hatohol(3) 
検索UIの追加フォームを入力 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:Hatohol連携 
ダッシュボードに検索フォーム 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:Hatohol連携案(1) 
イベントページにリンク 
✓障害情報から検索できる 
✓時間情報から検索できる 
✓ 
課題 
✓ログ以外の情報が多い 
✓↑検索可能ではない情報が多い 
✓ 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:Hatohol連携案(2) 
ログ以外も検索可能にする 
✓例:イベントの説明 
✓例:Redmineのコメント 
✓ 
課題 
✓検索結果の見せ方はどうなる? 
✓見つかった後の動線は? 
✓Hatoholに戻る?Redmineに行く? 
✓ 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:Hatohol連携案(3) 
検索キーワードを事前登録 
✓クリックで検索できて楽 
✓ 
課題 
✓誰が登録するのか 
既存ログから拾ってこれると 
よさそう? 
✓ 
✓ 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4
検索:課題 
ユーザー毎に権限設定できない 
ログ検索UIのURLをサーバーではなく 
UIに保存しているため 
✓ 
✓ 
検索UIからHatoholに戻って 
これない 
✓Redmine連携も同じ? 
✓ 
Hatoholのログ蓄積・検索機能2014/12版Powered by Rabbit 2.1.4

More Related Content

What's hot

Apache Drill: Rethinking SQL for Big data – Don’t Compromise on Flexibility o...
Apache Drill: Rethinking SQL for Big data – Don’t Compromise on Flexibility o...Apache Drill: Rethinking SQL for Big data – Don’t Compromise on Flexibility o...
Apache Drill: Rethinking SQL for Big data – Don’t Compromise on Flexibility o...MapR Technologies Japan
 
HDFS HA セミナー #hadoop
HDFS HA セミナー #hadoopHDFS HA セミナー #hadoop
HDFS HA セミナー #hadoopCloudera Japan
 
Learning spaerk chapter03
Learning spaerk chapter03Learning spaerk chapter03
Learning spaerk chapter03Akimitsu Takagi
 
AWS SDK for Smalltalk
AWS SDK for SmalltalkAWS SDK for Smalltalk
AWS SDK for SmalltalkSho Yoshida
 
20191211_Apache_Arrow_Meetup_Tokyo
20191211_Apache_Arrow_Meetup_Tokyo20191211_Apache_Arrow_Meetup_Tokyo
20191211_Apache_Arrow_Meetup_TokyoKohei KaiGai
 
Parquetはカラムナなのか?
Parquetはカラムナなのか?Parquetはカラムナなのか?
Parquetはカラムナなのか?Yohei Azekatsu
 
全文検索In着うた配信サービス
全文検索In着うた配信サービス全文検索In着うた配信サービス
全文検索In着うた配信サービスtechtalkdwango
 
PostgreSQL 10 新機能 @オープンセミナー香川 2017
PostgreSQL 10 新機能 @オープンセミナー香川 2017PostgreSQL 10 新機能 @オープンセミナー香川 2017
PostgreSQL 10 新機能 @オープンセミナー香川 2017Shigeru Hanada
 
Apache ArrowのRubyバインディングをGObject Introspectionで
Apache ArrowのRubyバインディングをGObject IntrospectionでApache ArrowのRubyバインディングをGObject Introspectionで
Apache ArrowのRubyバインディングをGObject IntrospectionでKouhei Sutou
 
PostgreSQL 10 新機能 @OSC 2017 Fukuoka
PostgreSQL 10 新機能 @OSC 2017 FukuokaPostgreSQL 10 新機能 @OSC 2017 Fukuoka
PostgreSQL 10 新機能 @OSC 2017 FukuokaShigeru Hanada
 
AvailabilityZoneとHostAggregate
AvailabilityZoneとHostAggregateAvailabilityZoneとHostAggregate
AvailabilityZoneとHostAggregateHiroki Ishikawa
 
GMO プライベート DMP で ビッグデータ解析をするために アプリクラウドで Apache Spark の検証をしてみた
GMO プライベート DMP で ビッグデータ解析をするために アプリクラウドで Apache Spark の検証をしてみたGMO プライベート DMP で ビッグデータ解析をするために アプリクラウドで Apache Spark の検証をしてみた
GMO プライベート DMP で ビッグデータ解析をするために アプリクラウドで Apache Spark の検証をしてみたTetsuo Yamabe
 
CloudTrail ログの検索を爆速化してみた
CloudTrail ログの検索を爆速化してみたCloudTrail ログの検索を爆速化してみた
CloudTrail ログの検索を爆速化してみたYohei Azekatsu
 
MapReduceプログラミング入門
MapReduceプログラミング入門MapReduceプログラミング入門
MapReduceプログラミング入門Satoshi Noto
 
CDH4.1オーバービュー
CDH4.1オーバービューCDH4.1オーバービュー
CDH4.1オーバービューCloudera Japan
 

What's hot (20)

Apache Drill: Rethinking SQL for Big data – Don’t Compromise on Flexibility o...
Apache Drill: Rethinking SQL for Big data – Don’t Compromise on Flexibility o...Apache Drill: Rethinking SQL for Big data – Don’t Compromise on Flexibility o...
Apache Drill: Rethinking SQL for Big data – Don’t Compromise on Flexibility o...
 
HDFS HA セミナー #hadoop
HDFS HA セミナー #hadoopHDFS HA セミナー #hadoop
HDFS HA セミナー #hadoop
 
MapReduce入門
MapReduce入門MapReduce入門
MapReduce入門
 
Hadoop-3.2.0の新機能の紹介とJava9+対応のコミュニティ動向
Hadoop-3.2.0の新機能の紹介とJava9+対応のコミュニティ動向Hadoop-3.2.0の新機能の紹介とJava9+対応のコミュニティ動向
Hadoop-3.2.0の新機能の紹介とJava9+対応のコミュニティ動向
 
Learning spaerk chapter03
Learning spaerk chapter03Learning spaerk chapter03
Learning spaerk chapter03
 
実践Realm
実践Realm実践Realm
実践Realm
 
Java11へのマイグレーションガイド ~Apache Hadoopの事例~
Java11へのマイグレーションガイド ~Apache Hadoopの事例~Java11へのマイグレーションガイド ~Apache Hadoopの事例~
Java11へのマイグレーションガイド ~Apache Hadoopの事例~
 
AWS SDK for Smalltalk
AWS SDK for SmalltalkAWS SDK for Smalltalk
AWS SDK for Smalltalk
 
20191211_Apache_Arrow_Meetup_Tokyo
20191211_Apache_Arrow_Meetup_Tokyo20191211_Apache_Arrow_Meetup_Tokyo
20191211_Apache_Arrow_Meetup_Tokyo
 
Parquetはカラムナなのか?
Parquetはカラムナなのか?Parquetはカラムナなのか?
Parquetはカラムナなのか?
 
全文検索In着うた配信サービス
全文検索In着うた配信サービス全文検索In着うた配信サービス
全文検索In着うた配信サービス
 
PostgreSQL 10 新機能 @オープンセミナー香川 2017
PostgreSQL 10 新機能 @オープンセミナー香川 2017PostgreSQL 10 新機能 @オープンセミナー香川 2017
PostgreSQL 10 新機能 @オープンセミナー香川 2017
 
Apache ArrowのRubyバインディングをGObject Introspectionで
Apache ArrowのRubyバインディングをGObject IntrospectionでApache ArrowのRubyバインディングをGObject Introspectionで
Apache ArrowのRubyバインディングをGObject Introspectionで
 
PostgreSQL 10 新機能 @OSC 2017 Fukuoka
PostgreSQL 10 新機能 @OSC 2017 FukuokaPostgreSQL 10 新機能 @OSC 2017 Fukuoka
PostgreSQL 10 新機能 @OSC 2017 Fukuoka
 
Hive chapter 2
Hive chapter 2Hive chapter 2
Hive chapter 2
 
AvailabilityZoneとHostAggregate
AvailabilityZoneとHostAggregateAvailabilityZoneとHostAggregate
AvailabilityZoneとHostAggregate
 
GMO プライベート DMP で ビッグデータ解析をするために アプリクラウドで Apache Spark の検証をしてみた
GMO プライベート DMP で ビッグデータ解析をするために アプリクラウドで Apache Spark の検証をしてみたGMO プライベート DMP で ビッグデータ解析をするために アプリクラウドで Apache Spark の検証をしてみた
GMO プライベート DMP で ビッグデータ解析をするために アプリクラウドで Apache Spark の検証をしてみた
 
CloudTrail ログの検索を爆速化してみた
CloudTrail ログの検索を爆速化してみたCloudTrail ログの検索を爆速化してみた
CloudTrail ログの検索を爆速化してみた
 
MapReduceプログラミング入門
MapReduceプログラミング入門MapReduceプログラミング入門
MapReduceプログラミング入門
 
CDH4.1オーバービュー
CDH4.1オーバービューCDH4.1オーバービュー
CDH4.1オーバービュー
 

Similar to Hatoholのログ蓄積・検索機能 2014/12版

Hatoholのログ監視機能 2014/10版
Hatoholのログ監視機能 2014/10版Hatoholのログ監視機能 2014/10版
Hatoholのログ監視機能 2014/10版Kouhei Sutou
 
いまさら聞けないRake入門
いまさら聞けないRake入門いまさら聞けないRake入門
いまさら聞けないRake入門Tomoya Kawanishi
 
Hadoop splittable-lzo-compression
Hadoop splittable-lzo-compressionHadoop splittable-lzo-compression
Hadoop splittable-lzo-compressionDaiki Sato
 
Pelicanによる www.python.jpの構築
Pelicanによる www.python.jpの構築Pelicanによる www.python.jpの構築
Pelicanによる www.python.jpの構築Atsuo Ishimoto
 
Rubyを使った分散全文検索ミドルウェア
Rubyを使った分散全文検索ミドルウェアRubyを使った分散全文検索ミドルウェア
Rubyを使った分散全文検索ミドルウェアKouhei Sutou
 
Hive undocumented feature
Hive undocumented featureHive undocumented feature
Hive undocumented featuretamtam180
 
aptのマニュアルをpo4a化した話
aptのマニュアルをpo4a化した話aptのマニュアルをpo4a化した話
aptのマニュアルをpo4a化した話Nozomu KURASAWA
 
Hadoop -NameNode HAの仕組み-
Hadoop -NameNode HAの仕組み-Hadoop -NameNode HAの仕組み-
Hadoop -NameNode HAの仕組み-Yuki Gonda
 
sbtマルチプロジェクトビルドの使いどころ
sbtマルチプロジェクトビルドの使いどころsbtマルチプロジェクトビルドの使いどころ
sbtマルチプロジェクトビルドの使いどころKazuhiro Hara
 
Rails初心者レッスン lesson5 2edition
Rails初心者レッスン lesson5 2editionRails初心者レッスン lesson5 2edition
Rails初心者レッスン lesson5 2editionSatomi Tsujita
 
20110519 okuyama tokyo_linuxstudy
20110519 okuyama tokyo_linuxstudy20110519 okuyama tokyo_linuxstudy
20110519 okuyama tokyo_linuxstudyTakahiro Iwase
 
2日間Fabricを触った俺が
 色々解説してみる
2日間Fabricを触った俺が
 色々解説してみる2日間Fabricを触った俺が
 色々解説してみる
2日間Fabricを触った俺が
 色々解説してみるairtoxin Ishii
 
Twitter クライアント “Termtter” の紹介と収集したソーシャルデータを Fluentd + Hadoop で分析する話
Twitter クライアント “Termtter” の紹介と収集したソーシャルデータを Fluentd + Hadoop で分析する話Twitter クライアント “Termtter” の紹介と収集したソーシャルデータを Fluentd + Hadoop で分析する話
Twitter クライアント “Termtter” の紹介と収集したソーシャルデータを Fluentd + Hadoop で分析する話id774
 
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜Takahiro Inoue
 
ノンプログラマのためのウェブサーバ入門
ノンプログラマのためのウェブサーバ入門	ノンプログラマのためのウェブサーバ入門
ノンプログラマのためのウェブサーバ入門 Atsu Yamaga
 
behatエクステンションの作り方
behatエクステンションの作り方behatエクステンションの作り方
behatエクステンションの作り方Ryo Tomidokoro
 
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC EnterpriseYusukeKuramata
 

Similar to Hatoholのログ蓄積・検索機能 2014/12版 (20)

Hatoholのログ監視機能 2014/10版
Hatoholのログ監視機能 2014/10版Hatoholのログ監視機能 2014/10版
Hatoholのログ監視機能 2014/10版
 
Apache Hadoop HDFSの最新機能の紹介(2018)#dbts2018
Apache Hadoop HDFSの最新機能の紹介(2018)#dbts2018Apache Hadoop HDFSの最新機能の紹介(2018)#dbts2018
Apache Hadoop HDFSの最新機能の紹介(2018)#dbts2018
 
いまさら聞けないRake入門
いまさら聞けないRake入門いまさら聞けないRake入門
いまさら聞けないRake入門
 
Hadoop splittable-lzo-compression
Hadoop splittable-lzo-compressionHadoop splittable-lzo-compression
Hadoop splittable-lzo-compression
 
Pelicanによる www.python.jpの構築
Pelicanによる www.python.jpの構築Pelicanによる www.python.jpの構築
Pelicanによる www.python.jpの構築
 
Rubyを使った分散全文検索ミドルウェア
Rubyを使った分散全文検索ミドルウェアRubyを使った分散全文検索ミドルウェア
Rubyを使った分散全文検索ミドルウェア
 
Hive undocumented feature
Hive undocumented featureHive undocumented feature
Hive undocumented feature
 
aptのマニュアルをpo4a化した話
aptのマニュアルをpo4a化した話aptのマニュアルをpo4a化した話
aptのマニュアルをpo4a化した話
 
HBase on EC2
HBase on EC2HBase on EC2
HBase on EC2
 
Hadoop -NameNode HAの仕組み-
Hadoop -NameNode HAの仕組み-Hadoop -NameNode HAの仕組み-
Hadoop -NameNode HAの仕組み-
 
sbtマルチプロジェクトビルドの使いどころ
sbtマルチプロジェクトビルドの使いどころsbtマルチプロジェクトビルドの使いどころ
sbtマルチプロジェクトビルドの使いどころ
 
Rails初心者レッスン lesson5 2edition
Rails初心者レッスン lesson5 2editionRails初心者レッスン lesson5 2edition
Rails初心者レッスン lesson5 2edition
 
20110519 okuyama tokyo_linuxstudy
20110519 okuyama tokyo_linuxstudy20110519 okuyama tokyo_linuxstudy
20110519 okuyama tokyo_linuxstudy
 
Storm の新機能について @HSCR #hadoopreading
Storm の新機能について @HSCR #hadoopreadingStorm の新機能について @HSCR #hadoopreading
Storm の新機能について @HSCR #hadoopreading
 
2日間Fabricを触った俺が
 色々解説してみる
2日間Fabricを触った俺が
 色々解説してみる2日間Fabricを触った俺が
 色々解説してみる
2日間Fabricを触った俺が
 色々解説してみる
 
Twitter クライアント “Termtter” の紹介と収集したソーシャルデータを Fluentd + Hadoop で分析する話
Twitter クライアント “Termtter” の紹介と収集したソーシャルデータを Fluentd + Hadoop で分析する話Twitter クライアント “Termtter” の紹介と収集したソーシャルデータを Fluentd + Hadoop で分析する話
Twitter クライアント “Termtter” の紹介と収集したソーシャルデータを Fluentd + Hadoop で分析する話
 
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
 
ノンプログラマのためのウェブサーバ入門
ノンプログラマのためのウェブサーバ入門	ノンプログラマのためのウェブサーバ入門
ノンプログラマのためのウェブサーバ入門
 
behatエクステンションの作り方
behatエクステンションの作り方behatエクステンションの作り方
behatエクステンションの作り方
 
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
 

More from Kouhei Sutou

Apache Arrow Flight – ビッグデータ用高速データ転送フレームワーク #dbts2021
Apache Arrow Flight – ビッグデータ用高速データ転送フレームワーク #dbts2021Apache Arrow Flight – ビッグデータ用高速データ転送フレームワーク #dbts2021
Apache Arrow Flight – ビッグデータ用高速データ転送フレームワーク #dbts2021Kouhei Sutou
 
RubyKaigi Takeout 2021 - Red Arrow - Ruby and Apache Arrow
RubyKaigi Takeout 2021 - Red Arrow - Ruby and Apache ArrowRubyKaigi Takeout 2021 - Red Arrow - Ruby and Apache Arrow
RubyKaigi Takeout 2021 - Red Arrow - Ruby and Apache ArrowKouhei Sutou
 
Rubyと仕事と自由なソフトウェア
Rubyと仕事と自由なソフトウェアRubyと仕事と自由なソフトウェア
Rubyと仕事と自由なソフトウェアKouhei Sutou
 
Apache Arrowフォーマットはなぜ速いのか
Apache Arrowフォーマットはなぜ速いのかApache Arrowフォーマットはなぜ速いのか
Apache Arrowフォーマットはなぜ速いのかKouhei Sutou
 
Apache Arrow 1.0 - A cross-language development platform for in-memory data
Apache Arrow 1.0 - A cross-language development platform for in-memory dataApache Arrow 1.0 - A cross-language development platform for in-memory data
Apache Arrow 1.0 - A cross-language development platform for in-memory dataKouhei Sutou
 
Redmine検索の未来像
Redmine検索の未来像Redmine検索の未来像
Redmine検索の未来像Kouhei Sutou
 
Apache Arrow - A cross-language development platform for in-memory data
Apache Arrow - A cross-language development platform for in-memory dataApache Arrow - A cross-language development platform for in-memory data
Apache Arrow - A cross-language development platform for in-memory dataKouhei Sutou
 
Better CSV processing with Ruby 2.6
Better CSV processing with Ruby 2.6Better CSV processing with Ruby 2.6
Better CSV processing with Ruby 2.6Kouhei Sutou
 
Apache Arrow - データ処理ツールの次世代プラットフォーム
Apache Arrow - データ処理ツールの次世代プラットフォームApache Arrow - データ処理ツールの次世代プラットフォーム
Apache Arrow - データ処理ツールの次世代プラットフォームKouhei Sutou
 
MySQL・PostgreSQLだけで作る高速あいまい全文検索システム
MySQL・PostgreSQLだけで作る高速あいまい全文検索システムMySQL・PostgreSQLだけで作る高速あいまい全文検索システム
MySQL・PostgreSQLだけで作る高速あいまい全文検索システムKouhei Sutou
 
MySQL 8.0でMroonga
MySQL 8.0でMroongaMySQL 8.0でMroonga
MySQL 8.0でMroongaKouhei Sutou
 
Mroongaの高速全文検索機能でWordPress内のコンテンツを有効活用!
Mroongaの高速全文検索機能でWordPress内のコンテンツを有効活用!Mroongaの高速全文検索機能でWordPress内のコンテンツを有効活用!
Mroongaの高速全文検索機能でWordPress内のコンテンツを有効活用!Kouhei Sutou
 
MariaDBとMroongaで作る全言語対応超高速全文検索システム
MariaDBとMroongaで作る全言語対応超高速全文検索システムMariaDBとMroongaで作る全言語対応超高速全文検索システム
MariaDBとMroongaで作る全言語対応超高速全文検索システムKouhei Sutou
 
PGroonga 2 – Make PostgreSQL rich full text search system backend!
PGroonga 2 – Make PostgreSQL rich full text search system backend!PGroonga 2 – Make PostgreSQL rich full text search system backend!
PGroonga 2 – Make PostgreSQL rich full text search system backend!Kouhei Sutou
 
PGroonga 2 - PostgreSQLでの全文検索の決定版
PGroonga 2 - PostgreSQLでの全文検索の決定版PGroonga 2 - PostgreSQLでの全文検索の決定版
PGroonga 2 - PostgreSQLでの全文検索の決定版Kouhei Sutou
 

More from Kouhei Sutou (20)

Apache Arrow Flight – ビッグデータ用高速データ転送フレームワーク #dbts2021
Apache Arrow Flight – ビッグデータ用高速データ転送フレームワーク #dbts2021Apache Arrow Flight – ビッグデータ用高速データ転送フレームワーク #dbts2021
Apache Arrow Flight – ビッグデータ用高速データ転送フレームワーク #dbts2021
 
RubyKaigi Takeout 2021 - Red Arrow - Ruby and Apache Arrow
RubyKaigi Takeout 2021 - Red Arrow - Ruby and Apache ArrowRubyKaigi Takeout 2021 - Red Arrow - Ruby and Apache Arrow
RubyKaigi Takeout 2021 - Red Arrow - Ruby and Apache Arrow
 
Rubyと仕事と自由なソフトウェア
Rubyと仕事と自由なソフトウェアRubyと仕事と自由なソフトウェア
Rubyと仕事と自由なソフトウェア
 
Apache Arrowフォーマットはなぜ速いのか
Apache Arrowフォーマットはなぜ速いのかApache Arrowフォーマットはなぜ速いのか
Apache Arrowフォーマットはなぜ速いのか
 
Apache Arrow 1.0 - A cross-language development platform for in-memory data
Apache Arrow 1.0 - A cross-language development platform for in-memory dataApache Arrow 1.0 - A cross-language development platform for in-memory data
Apache Arrow 1.0 - A cross-language development platform for in-memory data
 
Apache Arrow 2019
Apache Arrow 2019Apache Arrow 2019
Apache Arrow 2019
 
Redmine検索の未来像
Redmine検索の未来像Redmine検索の未来像
Redmine検索の未来像
 
Apache Arrow - A cross-language development platform for in-memory data
Apache Arrow - A cross-language development platform for in-memory dataApache Arrow - A cross-language development platform for in-memory data
Apache Arrow - A cross-language development platform for in-memory data
 
Better CSV processing with Ruby 2.6
Better CSV processing with Ruby 2.6Better CSV processing with Ruby 2.6
Better CSV processing with Ruby 2.6
 
Apache Arrow
Apache ArrowApache Arrow
Apache Arrow
 
Apache Arrow - データ処理ツールの次世代プラットフォーム
Apache Arrow - データ処理ツールの次世代プラットフォームApache Arrow - データ処理ツールの次世代プラットフォーム
Apache Arrow - データ処理ツールの次世代プラットフォーム
 
Apache Arrow
Apache ArrowApache Arrow
Apache Arrow
 
MySQL・PostgreSQLだけで作る高速あいまい全文検索システム
MySQL・PostgreSQLだけで作る高速あいまい全文検索システムMySQL・PostgreSQLだけで作る高速あいまい全文検索システム
MySQL・PostgreSQLだけで作る高速あいまい全文検索システム
 
MySQL 8.0でMroonga
MySQL 8.0でMroongaMySQL 8.0でMroonga
MySQL 8.0でMroonga
 
My way with Ruby
My way with RubyMy way with Ruby
My way with Ruby
 
Red Data Tools
Red Data ToolsRed Data Tools
Red Data Tools
 
Mroongaの高速全文検索機能でWordPress内のコンテンツを有効活用!
Mroongaの高速全文検索機能でWordPress内のコンテンツを有効活用!Mroongaの高速全文検索機能でWordPress内のコンテンツを有効活用!
Mroongaの高速全文検索機能でWordPress内のコンテンツを有効活用!
 
MariaDBとMroongaで作る全言語対応超高速全文検索システム
MariaDBとMroongaで作る全言語対応超高速全文検索システムMariaDBとMroongaで作る全言語対応超高速全文検索システム
MariaDBとMroongaで作る全言語対応超高速全文検索システム
 
PGroonga 2 – Make PostgreSQL rich full text search system backend!
PGroonga 2 – Make PostgreSQL rich full text search system backend!PGroonga 2 – Make PostgreSQL rich full text search system backend!
PGroonga 2 – Make PostgreSQL rich full text search system backend!
 
PGroonga 2 - PostgreSQLでの全文検索の決定版
PGroonga 2 - PostgreSQLでの全文検索の決定版PGroonga 2 - PostgreSQLでの全文検索の決定版
PGroonga 2 - PostgreSQLでの全文検索の決定版
 

Hatoholのログ蓄積・検索機能 2014/12版