【速報】Amazon MSK Express ブローカー、ついにアジア太平洋とアフリカへ！パフォーマンス爆上げでKafka運用が変わる！

Amazon Managed Streaming for Apache Kafka (Amazon MSK) のプロビジョニング済み Express ブローカーが、アフリカ (ケープタウン) とアジア太平洋 (台北) リージョンで利用可能になりました。Express ブローカーは、従来のKafkaブローカーと比較して、スループットが最大3倍、スケーリングが20倍高速化、リカバリー時間が90%短縮される次世代ブローカーです。

MSK Express ブローカー、ついにリージョン拡大！

今回の発表は、Kafka運用における大きな転換点になる可能性がありますね。特に、高スループットが求められるリアルタイムデータ処理やストリーミングアプリケーションにおいては、Express ブローカーのパフォーマンス向上が直接的にビジネス価値に繋がるでしょう。

解決される課題:

• パフォーマンスボトルネック: 従来のKafkaブローカーでは、高負荷時にスループットが不足しがちでしたが、Express ブローカーは最大3倍のパフォーマンスを発揮します。
• スケーリングとリカバリーの遅延: スケーリングや障害からのリカバリーに時間がかかりましたが、Express ブローカーはそれぞれ20倍高速化、90%短縮を実現します。
• 複雑な設定: Kafkaのベストプラクティスを適用するには手間がかかりましたが、Express ブローカーはデフォルトで最適化されています。

日本の状況について: AWS公式の裏取りと最新のリージョン状況を確認したところ、現時点では東京 (ap-northeast-1) と大阪 (ap-northeast-3) リージョンでのExpress ブローカーの提供は明示されていません。AWSマネジメントコンソールまたはAWSサポートで確認することをお勧めします。

運用上のアドバイス:

• パフォーマンス: レイテンシの低下とスループットの向上が期待できます。
• スケーリング: ワークロードの変化にリアルタイムに対応できるようになります。
• コスト: ブローカー数の削減により、コストを最適化できる可能性があります。
• セキュリティ: 既存のKafkaセキュリティプロトコル (TLS, SASL, IAM) をそのまま利用できます。

最初に試すべきこと: まずは、サポートされているリージョン (ケープタウンまたは台北) でExpress ブローカーを使用したテストクラスターを作成し、スループット、レイテンシ、リカバリー時間をベンチマークすることをお勧めします。Amazon CloudWatchでメトリクスを監視し、既存のブローカーとの比較を行いましょう。

参考資料:

• Amazon MSK Developer Guide: https://docs.aws.amazon.com/msk/latest/developerguide/what-is-msk.html