[LogParser]独自形式のログデータ解析 - FlowServiceのログを集計

業務のアプリがログを出力しているが、独自パターンのログデータであり、全体として区切り文字が設定されていない。かつフローの処理毎に情報が出力され、フローからサブフローが次々と呼ばれるタイプである。そのためデータ量が多い。
LogParserでのログ解析を研究中である。

【ログデータ】
　・種類：テキストファイル
　・期間：2009-10-01 ～ 2010-12-20 (日別)
　・ファイル数：429個
　・合計ファイルサイズ：90MB
【取得項目】
　・メインフローの開始時刻、及び終了時刻 ⇒ JST
　・処理件数の取得 ⇒ MSG2

コマンドプロンプトでログフォルダに移動し、下記を実行。(改行を除く)

logparser -i:textline -o:csv -recurse:-1 "
SELECT
 EXTRACT_FILENAME(LogFilename),
 Index,
 EXTRACT_SUFFIX(EXTRACT_PREFIX (Text,0,']'),0,'[') as JST,
 TRIM(EXTRACT_SUFFIX(EXTRACT_PREFIX (Text,1,'['),0,']')) as LEVEL,
 EXTRACT_SUFFIX(EXTRACT_PREFIX (Text,1,']'),0,'[') as WORKER,
 TRIM(EXTRACT_SUFFIX(EXTRACT_PREFIX (Text,2,'['),0,']')) as FLEX,
 EXTRACT_SUFFIX(EXTRACT_PREFIX (Text,2,']'),0,'[') as GID,
 EXTRACT_TOKEN(EXTRACT_SUFFIX(EXTRACT_PREFIX (Text,3,'['),0,']'),0,':') as MSG0,
 EXTRACT_TOKEN(EXTRACT_SUFFIX(EXTRACT_PREFIX (Text,3,'['),0,']'),1,':') as MSG1,
 EXTRACT_TOKEN(EXTRACT_SUFFIX(EXTRACT_PREFIX (Text,3,'['),0,']'),2,':') as MSG2
 INTO FlowService_out.csv
 FROM FlowService.log.*
 HAVING (Text LIKE '%FW_F010_DIF_MAIN%'
 AND (Text LIKE '%フローの実行を開始します%' OR Text LIKE '%フローの実行が終了しました%'))
 OR Text LIKE '%履歴処理件数（F010）%'
"