Amazon CloudWatch による Amazon EKS 上の AI 推論ワークロード向け Accelerated Compute Insights の提供開始

Amazon CloudWatch は、Amazon EKS クラスター内で実行されるセルフホスト型の AI 推論ワークロードを監視・可視化するための新機能「Accelerated Compute Insights」」を提供開始しました。Amazon EKS 用の「Amazon CloudWatch Observability add-on」を有効にすることで、クラスター内の NVIDIA GPU を自動検出し、推論スタック全体のテレメトリを収集します。これにより、フリート全体から個々のワークロードやアクセラレータ単位でのモニタリングが可能となり、アイドル状態のアクセラレータの特定や、トークンあたりの推定コストの算出、Time to First Token (TTFT) などのパフォーマンス問題のトラブルシューティングを、CloudWatch コンソールおよび CloudWatch Omni での対話型体験を通じて行えるようになります。機能自体の追加料金は発生しませんが、収集されるテレメトリの料金は標準の CloudWatch 料金体系に従います。

AI 推論基盤の運用管理が大幅に改善されます

これまで、Amazon EKS 上で自前で AI モデルを動かす場合、GPU の利用状況や推論のパフォーマンス（Time to First Token など）を可視化するのは非常に手間がかかる作業でした。今回のアップデートにより、**「どの GPU が遊んでいるのか」「どのワークロードがコストに見合っているのか」**が CloudWatch から一目でわかるようになります。

解決される課題とメリット

• リソースの最適化: アイドル状態や低利用率の GPU を特定し、不要なインスタンスの削減やスケールダウンの検討が容易になります。
• コストの可視化: 「トークンあたりの推定コスト」という、AI 運用において極めて重要な指標が提供される点は非常に強力です。
• トラブルシューティングの迅速化: 推論スタック全体のテレメトリを収集するため、パフォーマンス低下の原因特定がスムーズになります。

日本国内リージョンの可用性について

リサーチの結果、東京リージョン (ap-northeast-1) および大阪リージョン (ap-northeast-3) における本機能の可用性については、AWS 公式発表において明示的な記載はありません。利用を開始する際は、最新のリージョン状況を AWS 公式ドキュメントで確認することをお勧めします。

運用上のアドバイスと次のステップ

• コスト管理: 機能自体は無料ですが、収集するメトリクス量（テレメトリ）に応じて CloudWatch の料金が発生するため、大規模なクラスターで導入する場合は、事前にメトリクスの収集頻度やデータ量を確認しておきましょう。
• まず試すべきこと: まずは既存の EKS クラスターに Amazon CloudWatch Observability add-on を有効化し、CloudWatch コンソールで GPU の検出状況と可視化ビューを確認することから始めてみてください。

参照ドキュメント: Accelerated Compute Insights - https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/Accelerated-Compute-Insights.html