AWS Entity Resolution: ML マッチングにおけるレコードレベルの信頼度スコアを提供開始

AWS Entity Resolution の機械学習（ML）ベースのマッチングワークフローにおいて、個々のレコードごとにマッチングの確信度を示す「レコードレベルの信頼度スコア」が導入されました。従来はマッチグループ全体に単一のスコアが割り当てられていましたが、今回のアップデートにより、各レコードが個別の品質スコアを反映した独自のスコアを持つことが可能になります。既存の RecordConfidenceLevel カラムを使用することで、スキーマ変更なしでインクリメンタルな ML ワークフローに適用可能です。本機能の利用は、AWS Entity Resolution が提供されているすべてのリージョンで利用可能です。

🛠️ マッチング精度の「一律適用」から「柔軟な使い分け」へ

これまで AWS Entity Resolution の ML マッチングを利用していたエンジニアにとって、最大の課題は「グループ全体のスコア」に縛られていたことでした。確実な一致と、境界線上の不確実な一致が同じスコアで扱われていたため、閾値を上げると有効なデータが捨てられ、下げるとノイズが混じるというジレンマがありました。

今回のアップデートは、このトレードオフを解消する非常に実用的な改善です。

💡 運用のポイント

• 閾値の階層化: 自動マージ（DB更新など）には高い信頼度スコアを要求し、マーケティング用のセグメント抽出には少し低めのスコアを許容するといった、用途に応じた使い分けが可能になります。
• スキーマ変更不要: 既存の RecordConfidenceLevel カラムがそのままレコードレベルのスコアを反映する仕様のため、既存のパイプラインへの影響が最小限で導入しやすいのがメリットです。

🌏 日本国内の利用状況

リサーチの結果、東京リージョン (ap-northeast-1) では利用可能であることが確認されています。一方で、大阪リージョン (ap-northeast-3) については、現時点で AWS Entity Resolution のサービス自体が提供されていないため、本機能の利用もできません。

🚀 次のアクション

まずは既存の ML マッチングワークフローの RecordConfidenceLevel カラムの分布を確認し、**「どの程度のスコアであれば自動化に回せるか」**の基準値を再検討することをお勧めします。

参照ドキュメント: AWS Entity Resolution ユーザーガイド https://docs.aws.amazon.com/entityresolution/latest/userguide/create-matching-workflow-ml.html