AWS Lambda がセルフマネージド Kafka のイベントソースで Queue モードをサポート

AWS Lambda は、セルフマネージド Apache Kafka および Confluent Cloud などのマネージドサービスを対象としたイベントソースマッピング（ESM）において、新しい ConsumptionMode: Queue をサポートしました。これにより、Apache Kafka 4.2 以降の「Kafka share groups」を活用し、トピックのパーティション数に縛られることなく、同一パーティションから複数のイベントポーラーが並行してデータを取得できるようになります。これにより、トラフィック急増時のスループット向上と、特定のイベント遅延による後続処理の停滞（Head-of-line blocking）の回避が可能です。

🚀 Kafka 連携における「パーティションの壁」がついに突破！

これまで Kafka を Lambda で扱う際、スループットを上げようと思ったら「パーティション数を増やす」か「外部キューを挟む」という、かなり泥臭い運用が必要でしたよね。パーティションを増やすとトピック構成が変わるし、外部キューを入れると管理コストが跳ね上がる……。そんな課題を解決する待望のアップデートです。

🛠️ 何が凄いの？

• 並列度の分離: パーティション数に関わらず、1つのパーティションに対して複数のポーラーが並行して動けます。各ポーラーは最大10件の同時インボケーションをサポートします。
• レジリエンスの向上: 特定のイベントの処理が詰まっても、他のイベントがブロックされにくくなります。
• コード変更不要: プロデューサー側や Lambda の関数コードを書き換える必要はありません。

⚠️ 注意点と運用アドバイス

• 順序性は失われる: Queue モードはパーティション内の順序を保証しません。「厳密な順序が必要なワークロード」には絶対に使わないよう注意してください。
• コスト面: 標準的な Lambda の料金に加え、プロビジョニングモードを使用する場合は Event Poller Unit (EPU) の利用料金が発生します。コスト試算は必須です。
• Kafka バージョン: Apache Kafka 4.2 以降（share groups 有効）が必要です。既存のクラスターが対応しているか確認しましょう。

🇯🇵 日本国内の利用状況

最新のリサーチによると、東京リージョン (ap-northeast-1) および大阪リージョン (ap-northeast-3) の両方で利用可能です。セルフマネージド Kafka ESM が利用できる商用リージョンであれば問題なく展開できます。

✅ Next Action

まずは、順序性が重要ではないワークロード（画像エンコーディング、テレメトリ収集、通知配信など）を対象に、検証環境で ConsumptionMode: Queue を設定してスループットの変化を確認してみるのが良さそうです！

Reference:

• AWS Lambda Developer Guide: https://docs.aws.amazon.com/lambda/latest/dg/polling-kafka-queue.html
• AWS Lambda Pricing: https://aws.amazon.com/lambda/pricing/