AWS Glue Data Quality にデータの分布統計（Distribution Analyzer）が追加され、プロファイリングが強化されました

AWS Glue Data Quality に、データの頻度分布プロファイルを生成する新しい「Distribution Analyzer」が導入されました。Data Quality Definition Language (DQDL) を使用して、数値列にはヒストグラムを生成し、カテゴリ、日付、ブーリアン列には値の分布を生成できます。カスタムビン数（bin counts）の指定も可能です。生成された統計情報は Amazon S3 に保存され、Amazon Athena を介してクエリしたり、API を通じて取得したりすることが可能です。この機能は、すべての AWS 商用リージョンおよび AWS GovCloud (US) リージョンで利用可能です。

データの分布を可視化し、パイプラインの信頼性を向上させる

これまでは、データの歪み（skewness）や外れ値、予期しないパターンを把握するために、カスタムコードを記述して統計量を算出する必要がありました。今回のアップデートにより、DQDL ルールセットに組み込むだけで、既存のデータ品質チェックと同時に分布統計を取得できるようになったのは大きな進歩です。

運用上のポイントとリージョン状況

• リージョン対応: リサーチ結果に基づくと、東京リージョン (ap-northeast-1) および 大阪リージョン (ap-northeast-3) を含むすべての商用リージョンで利用可能です。日本国内のデータ基盤構築においても、即座に導入検討が可能です。
• データの活用方法: 統計情報は S3 に出力されるため、Amazon Athena で分析したり、SageMaker Unified Studio で可視視化したりするワークフローが非常にスムーズです。モニタリングツールとの連携も API 経由で容易に行えます。

実務へのアドバイス

データパイプラインの構築において、「データは常に一定の分布に従う」という前提は危険です。今回の機能を使って、「期待される分布」を DQDL で定義し、異常な分布の変化を検算するといった運用フローを構築することをお勧めします。まずは、既存の Glue Data Quality ルールセットに analyzers セクションを追加して、主要な数値列のヒストグラム生成を試してみるのが最初のステップです。

参照ドキュメント:

• AWS Glue Data Quality ドキュメント: https://docs.aws.amazon.com/glue/latest/dg/glue-data-quality.html
• Analyzers (DQDL) ドキュメント: https://docs.aws.amazon.com/glue/latest/dg/dqdl.html#dqdl-analyzers