Amazon FSx for LustreのIntelligent-TieringでメタデータIOPSが最大16倍に向上

Amazon FSx for LustreのIntelligent-Tieringストレージクラスにおいて、メタデータI/O操作の最大性能（IOPS）が従来の12,000 IOPSから最大192,000 IOPSへと、16倍に引き上げられました。これにより、大量のファイルやディレクトリの作成、リスト表示、読み取り、削除といったメタデータ集約型のワークロードにおけるパフォーマンスが大幅に向上し、機械学習（ML）やハイパフォーマンス・コンピューティング（HPC）などの分野で、より高速な処理とストレージコストの最適化を両立させることが可能になります。本機能は、Intelligent-Tieringストレージクラスが提供されているすべてのAWSリージョンで、新規のファイルシステムにおいて利用可能です。

解決される課題

これまでIntelligent-Tieringクラスでは、データスループットが十分であっても、大量の小規模ファイルへのアクセスや ls や stat といったメタデータ操作がボトルネックとなり、MLトレーニングやHPCワークロードのスケーラビリティが制限されていました。今回のアップデートでメタデータIOPSが16倍に向上したことで、このボトルネックが解消され、結果への到達時間を大幅に短縮できます。

日本国内の利用可能性

リサーチの結果、東京リージョン（ap-northeast-1）および大阪リージョン（ap-northeast-3）の両方で利用可能であることが確認されています。国内のHPC/ML環境を構築する際は、積極的に検討してください。

実務上のアドバイス

• 新規ファイルシステムが対象: 本機能は「新規のファイルシステム」で利用可能とされており、既存のファイルシステムに自動的に適用されるかは、ユーザーガイドの更新内容を確認し、必要に応じて再作成を検討してください。
• コスト最適化: SSDベースのストレージクラスよりも低コストなIntelligent-Tieringを使いつつ、メタデータ性能を確保できるため、コスト効率の高い大規模ストレージ構成が可能になります。

次のアクション

まずは、現在のワークロードで df -h や ls -R などのメタデータ操作に時間がかかっている箇所がないか確認し、Intelligent-Tieringを用いた新規ファイルシステムでベンチマークテストを実施して、実際の性能向上をメリットとして享受できるか検証してください。

参考ドキュメント

Amazon FSx for Lustre ユーザーガイド (https://docs.aws.amazon.com/fsx/latest/LustreGuide/performance.html#dne-metadata-performance)