Amazon MSKがZooKeeperからKRaftへのインプレース移行をサポート開始

Amazon Managed Streaming for Apache Kafka (Amazon MSK) において、Apache ZooKeeperからKRaftへのインプレース移行がサポートされました。本機能により、新規インフラストラクチャのプロビジョニングやデータ移行、クライアントアプリケーションの再設定なしで、既存のMSKクラスターをKRaftに移行可能です。KRaftはKafka内部のコントローラーグループでメタデータ管理を行い、ZooKeeper依存を排除することで、メタデータ伝搬の高速化、スケーラビリティ向上、クラスターアーキテクチャの簡素化を実現します。Kafka 3.9.xはZooKeeperをサポートする最後のバージョンであり、Kafka 4.xはKRaftのみをサポートします。移行プロセス中もクラスターの可用性は維持され、MSKコンソール、AWS CLI、またはAPIを通じて操作可能です。本機能は、European Sovereign Cloud (Germany)を除く、Amazon MSK Provisionedが提供されているすべてのAWSリージョンで利用可能です。

エンジニア視点での考察・アドバイス

解決された技術的課題

• ZooKeeper依存の排除: 外部のZooKeeperノードが不要になり、メタデータ管理がKafka内部で完結するため、運用の複雑さが軽減されます。
• パフォーマンス向上: メタデータの伝搬が高速化し、クラスターのスケーラビリティが向上。特に大規模なトピックやパーティションを持つ環境でのメリットが大きいです。
• 将来性の確保: Kafka 4.xへのアップグレードパスが確保され、長期的なサポート切れのリスクを回避できます。

日本リージョンの提供状況

• 東京リージョン (ap-northeast-1): 利用可能（Amazon MSK Provisionedの提供を確認済み）
• 大阪リージョン (ap-northeast-3): 利用可能（Amazon MSK Provisionedの提供を確認済み）
• 注意点: European Sovereign Cloud (Germany)を除く全リージョンでサポートされていますが、大阪リージョンはMSK Serverlessが提供されていないため、Provisionedクラスターのみが対象です。

実務での注意点

• バージョンアップの事前準備: 移行前に必ずKafka 3.9.xへアップグレードしてください。古いバージョンから直接KRaftへの移行はサポートされていません。
• ダウンタイムなしの移行: 移行プロセス中もクラスターは利用可能ですが、メタデータの同期に時間がかかる場合があるため、メンテナンスウィンドウを設けて実施することを推奨します。
• コスト影響: インプレース移行では新規インフラのプロビジョニングは不要ですが、KRaftへの移行後にブローカー数の最適化を検討することで、コスト削減が見込めます。
• セキュリティ: KRaft移行後は、コントローラーノードのIAMロールやセキュリティグループの設定を見直し、適切なアクセス制御を維持してください。

次のアクション

1. 既存クラスターのバージョン確認: 現在のKafkaバージョンが3.9.x未満の場合は、まずアップグレードを実施してください。
2. 移行テスト: 本番環境への適用前に、ステージング環境で移行プロセスをテストし、クライアントアプリケーションへの影響を確認してください。
3. モニタリング: 移行中および移行後のメトリクス（例: kafka.controller:type=KafkaController,name=LeaderCount）を監視し、異常がないか確認してください。

参考資料

• Amazon MSK Developer Guide - KRaft移行手順
• AWS公式発表 (2026年8月10日)