本番環境で深夜にサービス障害が発生し、オンコールのDevOpsエンジニアが複数サービスのCloudWatch Logsをリアルタイムで調査する必要があります。インシデントは現在進行中でエラーログが継続的に出力されており、

Question

本番環境で深夜にサービス障害が発生し、オンコールのDevOpsエンジニアが複数サービスのCloudWatch Logsをリアルタイムで調査する必要があります。インシデントは現在進行中でエラーログが継続的に出力されており、CloudWatch Logs Insightsでクエリを実行しましたが大量ログのインデックス処理に数分かかり最新エラーパターンを即座に確認できません。複数ロググループを横断しながら特定キーワード（ERROR・FATALなど）でフィルタリングしつつ、リアルタイムに近い形でログを対話的に監視する最適な方法はどれですか？

Accepted Answer

正解: CloudWatch Live Tailを使用して、複数のロググループとフィルターパターンを指定しながら数秒以内の遅延でログをストリーミング表示し、インシデントを対話的に調査する。CloudWatch Live TailはCloudWatchコンソールから複数のロググループを同時選択し、フィルターパターンを指定しながらほぼリアルタイム（数秒以内）でログをストリーミング表示できる対話型デバッグ機能です。クエリ実行待ちがなく、インシデント対応中の迅速な原因調査に最適です。

サブスクリプションフィルター + Lambda + Slackはインシデント前に構築する通知パイプラインであり、インシデント中に即座に活用できる対話型調査ツールではありません。

AWS CLI `aws logs tail --follow`は単一のロググループのみ追跡でき、複数ロググループを横断したリアルタイムフィルタリングができないため、マイクロサービス環境での調査効率が大幅に低下します。

Kinesis + Lambda Consumerは大規模ログ処理パイプラインの構築が必要であり、インシデント対応中に即座に活用できる対話型ツールではありません。

Answer

CloudWatch Logsサブスクリプションフィルターを設定し、エラーパターンにマッチしたログをLambdaでSlackに転送する通知パイプラインを事前に構築する — サブスクリプションフィルター + Lambda + Slackパイプラインはインシデント前に構築する自動通知仕組みであり、インシデント中の対話的調査ツールではありません。

Answer

AWS CLIの`aws logs tail <ロググループ名> --follow --filter-pattern ERROR`コマンドをターミナルで実行してログをリアルタイムに監視する — AWS CLIの`aws logs tail --follow`は単一のロググループのみ追跡でき、複数ロググループ横断のリアルタイムフィルタリングができないため調査効率が低下します。

Answer

Kinesis Data StreamsにCloudWatch Logsサブスクリプションフィルターを接続し、Lambda Consumerでリアルタイムにエラーを集約・分析するパイプラインを構築する — Kinesis + Lambda Consumerパイプラインは大規模ログ処理インフラ構築が必要であり、インシデント中に即座に活用できる対話型ツールではありません。

解説

解説