[LogParser]独自形式のログデータ解析 - FlowServiceのログを集計
業務のアプリがログを出力しているが、独自パターンのログデータであり、全体として区切り文字が設定されていない。かつフローの処理毎に情報が出力され、フローからサブフローが次々と呼ばれるタイプである。そのためデータ量が多い。
LogParserでのログ解析を研究中である。
【ログデータ】
・種類:テキストファイル
・期間:2009-10-01 ~ 2010-12-20 (日別)
・ファイル数:429個
・合計ファイルサイズ:90MB
【取得項目】
・メインフローの開始時刻、及び終了時刻 ⇒ JST
・処理件数の取得 ⇒ MSG2
コマンドプロンプトでログフォルダに移動し、下記を実行。(改行を除く)
■Log Parser 2.2 日本語版
■ASTERIA
LogParserでのログ解析を研究中である。
【ログデータ】
・種類:テキストファイル
・期間:2009-10-01 ~ 2010-12-20 (日別)
・ファイル数:429個
・合計ファイルサイズ:90MB
【取得項目】
・メインフローの開始時刻、及び終了時刻 ⇒ JST
・処理件数の取得 ⇒ MSG2
コマンドプロンプトでログフォルダに移動し、下記を実行。(改行を除く)
logparser -i:textline -o:csv -recurse:-1 "
SELECT
EXTRACT_FILENAME(LogFilename),
Index,
EXTRACT_SUFFIX(EXTRACT_PREFIX (Text,0,']'),0,'[') as JST,
TRIM(EXTRACT_SUFFIX(EXTRACT_PREFIX (Text,1,'['),0,']')) as LEVEL,
EXTRACT_SUFFIX(EXTRACT_PREFIX (Text,1,']'),0,'[') as WORKER,
TRIM(EXTRACT_SUFFIX(EXTRACT_PREFIX (Text,2,'['),0,']')) as FLEX,
EXTRACT_SUFFIX(EXTRACT_PREFIX (Text,2,']'),0,'[') as GID,
EXTRACT_TOKEN(EXTRACT_SUFFIX(EXTRACT_PREFIX (Text,3,'['),0,']'),0,':') as MSG0,
EXTRACT_TOKEN(EXTRACT_SUFFIX(EXTRACT_PREFIX (Text,3,'['),0,']'),1,':') as MSG1,
EXTRACT_TOKEN(EXTRACT_SUFFIX(EXTRACT_PREFIX (Text,3,'['),0,']'),2,':') as MSG2
INTO FlowService_out.csv
FROM FlowService.log.*
HAVING (Text LIKE '%FW_F010_DIF_MAIN%'
AND (Text LIKE '%フローの実行を開始します%' OR Text LIKE '%フローの実行が終了しました%'))
OR Text LIKE '%履歴処理件数(F010)%'
"
■Log Parser 2.2 日本語版
■ASTERIA