MSK Express ブローカーログ、ついに解禁！運用監視が劇的に進化！

Amazon MSKのExpressブローカーで、ブローカーログが追加料金なしで利用可能になりました。これにより、クライアント接続の問題や可用性のトラブルシューティング、リバランスやフェイルオーバー中のブローカーの動作状況の把握が容易になります。

これは非常に嬉しいアップデートですね。Expressブローカーはパフォーマンスが向上した分、今までログが見づらいという課題がありました。今回のログの追加で、問題発生時の切り分けが格段に楽になるはずです。

最新のリージョン状況を確認しましたが、東京（ap-northeast-1）と大阪（ap-northeast-3）の両方で利用可能であることがAWS公式の裏取りで確認できました。ただし、念のためマネジメントコンソールやAWSサポートで最新情報を確認することをお勧めします。

運用上のアドバイスとしては、CloudWatch LogsやS3との連携設定を忘れずに行いましょう。既存の監視パイプラインに組み込むことで、より迅速な問題検知と対応が可能になります。Expressブローカーのログは、Standardブローカーとは異なる情報を提供するため、両方を比較検討することで、より深い分析が可能になるでしょう。

まずは、Expressブローカーでログ機能を有効にし、実際にリバランスやフェイルオーバーを発生させて、ログの内容を確認することから始めるのが良いでしょう。これにより、どのような情報が記録されているか、どのように活用できるかを理解することができます。

参考にしたドキュメントは以下の通りです。 Amazon MSK broker logs documentation: https://docs.aws.amazon.com/msk/latest/developerguide/msk-logging.html