Amazon MSK が Authorizer ログ配信機能を無償提供開始

Amazon Managed Streaming for Apache Kafka (Amazon MSK) の Provisioned クラスター（Standard および Express ブローカー）において、Authorizer Log Delivery 機能が追加されました。

この機能により、ユーザーやアプリケーションのアクセス詳細を可視化し、認可エラーの原因特定やセキュリティ要件への準拠が可能になります。拒否された認可リクエストは、クライアントの IP アドレスと試行された API を含めて記録されます。

ログの配信先は Amazon CloudWatch Logs、Amazon S3、または Amazon Data Firehose で、追加料金なしで利用できます。新規および既存の Provisioned クラスターの両方で利用可能で、Amazon MSK コンソールまたは AWS CLI から有効化できます。

対象外リージョン: AWS European Sovereign Cloud (eusc-de-east-1) はサポート対象外です。

エンジニア視点での考察・アドバイス

解決される課題

• セキュリティ監査の強化: Kafka クラスターへのアクセス試行（特に拒否されたリクエスト）を詳細にログとして記録できるため、不正アクセスの早期検知や原因分析が容易になります。
• トラブルシューティングの効率化: クライアントの IP アドレスや試行された API がログに含まれるため、認可エラーの根本原因を迅速に特定できます。
• コンプライアンス対応: セキュリティポリシーや規制要件（例: ISMAP、PCI DSS）への準拠を証明するためのログを自動的に収集・保管できます。

日本リージョンの可用性

• 東京リージョン (ap-northeast-1): 利用可能 Amazon MSK Provisioned クラスターが提供されているため、本機能も利用できます。
• 大阪リージョン (ap-northeast-3): 要確認 大阪リージョンでの Amazon MSK Provisioned クラスター自体の提供状況が公式発表に明記されていないため、利用前に AWS コンソールまたはサポートに確認してください。

運用上の注意点

• ログの保管コスト: 無償で利用できますが、CloudWatch Logs や S3 に大量のログが蓄積されると、ストレージコストが発生します。ライフサイクルポリシー（例: S3 のオブジェクト有効期限設定）を活用してコストを最適化しましょう。
• ログのフォーマット: Authorizer ログは JSON 形式で出力されます。分析ツール（例: Amazon Athena、OpenSearch）との連携を想定して、事前にログフォーマットを確認しておくとスムーズです。
• 既存クラスターへの適用: 既存の Provisioned クラスターにも適用可能ですが、設定変更時にクラスターの再起動は不要です。ただし、ログ配信の有効化後、即時反映されるわけではないため、テスト環境で動作確認を行うことを推奨します。

次のアクション

1. ログ配信先の選定: 用途に応じて CloudWatch Logs（リアルタイム分析）、S3（長期保管）、または Data Firehose（ストリーミング処理）を選択します。
2. IAM ポリシーの確認: ログ配信先のサービス（例: S3 バケット）に対する MSK の書き込み権限が適切に設定されているか確認します。
3. テスト環境での検証: 本番環境に適用する前に、テストクラスターで Authorizer ログの出力内容やフォーマットを確認します。
4. 大阪リージョンの利用可否確認: 大阪リージョンで MSK Provisioned クラスターを利用している場合は、AWS サポートに本機能のサポート状況を問い合わせます。

参考ドキュメント

• Amazon MSK Authorizer Logs ドキュメント
• Amazon MSK Developer Guide