【速報】Lambdaのファイルディスクリプタ上限が4倍に！I/Oボトルネック解消でサーバーレス性能が爆上がり🚀

AWS Lambdaのマネージドインスタンス(LMI)において、ファイルディスクリプタの上限が従来の1,024から4,096に引き上げられました。これにより、高負荷なI/O処理を伴うワークロードの実行が可能になります。

Lambda Managed Instances のファイルディスクリプタ増加：エンジニア視点での考察

今回の変更は、LambdaのI/Oバウンドなワークロードに対する大きな改善です。これまでファイルディスクリプタの制限に悩まされていた高並行Webサービスや、大量のファイルを処理するデータパイプラインなどが恩恵を受けるでしょう。

問題点と解決策

• ファイルディスクリプタ枯渇: 従来の1,024という制限は、多くの同時接続を必要とするアプリケーションや、大量のファイルI/Oを行う処理でボトルネックとなっていました。4,096への増加により、より多くの同時処理が可能になります。
• マルチコンカレンシーの制限: LMIはシングル実行環境で複数のリクエストを同時に処理できますが、ファイルディスクリプタの制限がその能力を制限していました。今回の変更で、LMIのマルチコンカレンシーのメリットを最大限に活かせるようになります。

日本のリージョン状況 最新のリージョン状況を確認したところ、東京(ap-northeast-1)および大阪(ap-northeast-3)の両リージョンでLambda Managed Instancesが利用可能であり、今回のファイルディスクリプタ増加の恩恵を受けられます。AWS公式の裏取りも完了しています。

運用上の注意点

• パフォーマンス: I/O負荷の高いワークロードでは、ファイルディスクリプタ枯渇によるスロットリングが軽減され、パフォーマンスが向上します。
• コスト: LMIはEC2の料金体系を利用するため、安定した負荷のワークロードでは、従来のLambdaよりもコスト効率が良い場合があります。
• セキュリティ: LMIは顧客所有のVPC内で実行され、セキュリティグループによる詳細なアクセス制御が可能です。EC2 Nitroコンテナを使用しており、高い分離性も確保されています。

最初に確認すべきこと

1. リージョンの確認: ターゲットリージョン(東京/大阪など)でLambda Managed Instancesが利用可能であることをAWSマネジメントコンソールまたはAWS CLIで確認してください。
2. ファイルディスクリプタ使用量のベンチマーク: 高並行ワークロードをデプロイし、FileDescriptorUsage CloudWatchメトリクスとConcurrentExecutionsを監視して、マルチコンカレンシーが正常に機能していることを確認してください。
3. スレッドセーフティの確認: マルチコンカレンシー環境では、共有状態(グローバル変数など)による競合状態を避けるため、コードのスレッドセーフティを検証してください。

参考資料

• AWS Lambda Managed Instances ドキュメント: https://docs.aws.amazon.com/lambda/latest/dg/lambda-managed-instances.html