AWS Glue Data Quality がカタログベースの異常検知と結果の GDC 書き出しに対応

AWS Glue Data Quality において、カタログベースのデータ品質評価での異常検知（Anomaly Detection）および評価結果の AWS Glue Data Catalog (GDC) テーブルへの書き出しが可能になりました。MLベースの時系列予測を用いて、明示的な閾値を設定せずにデータ統計の予期せぬ変化を検出でき、評価結果（ルール判定、プロファイリング指標、異常検知の予測値）は標準SQLでクエリ可能な形式で GDC に保存されます。本機能はすべての商用リージョンで利用可能です。

運用上のメリット

これまでカタログベースの評価では、静的な閾値を設定したルールを記述する必要がありましたが、MLによる自動的な異常検知が導入されたことで、数百のテーブルを監視している環境では運用負荷が劇的に軽減されます。特に「行数の急増」や「一意な値の急減」といった、データソース側の変動に合わせた動的な検知が容易になります。

日本国内の利用状況

リサーチの結果、本機能は東京リージョンおよび大阪リージョンを含むすべての商用リージョンで提供されています。国内のデータレイク運用においても即座に導入可能です。

実務的なアドバイス

• 結果の可視化: 評価結果が GDC テーブルに保存されるため、Amazon Athena 等でクエリし、QuickSight 等でダッシュボード化することで、データ品質の推移を可視化することをお勧めします。
• 信頼区間の活用: 異常検知の予測値には信頼区間が含まれるため、単なる「異常あり/なし」だけでなく、どの程度の乖離があるかを分析してアラートの感度を調整してください。

次のアクション

まずは、変動が激しく閾値設定が困難だったテーブルに対して、カタログベースの異常検知を試行し、検知精度を確認することから始めてください。

参考ドキュメント

• AWS Glue Data Quality ドキュメント