AWS Glue REST API コネクタが VPC サポート、フィルタープッシュダウン、パーティション機能を強化

AWS Glue の REST API コネクタにおいて、VPC 接続、フィルタープッシュダウン、およびパーティションサポートが導入されました。これにより、カスタムコードを記述することなく、プライベートネットワーク上の REST API エンドポイントからセキュアにデータを取得し、必要なデータのみを抽出して並列読み込みを行うことで、ETL パイプラインの効率的な構築が可能になります。本機能は AWS Glue が提供されているすべての商用リージョンで利用可能です。

開発者の悩みと解決策

これまで REST API からのデータ取り込みは、カスタムコード（Python/Scala）を書いてページネーションや認証、VPC 経由の接続処理を実装する必要があり、開発・運用コストが高くなっていました。今回のアップデートで、コードレスでセキュアな接続と効率的なデータ抽出が実現します。

日本国内の利用状況

リサーチの結果、東京リージョン (ap-northeast-1) および大阪リージョン (ap-northeast-3) の両方で提供されており、国内のエンタープライズ環境でもすぐに導入可能です。

実務上のアドバイス

• コスト削減: フィルタープッシュダウンにより、API 側でフィルタリングが行われるため、転送データ量が削減され、Glue ジョブの実行時間とデータ転送コストを抑えられます。
• 安定性: 大容量データに対してはパーティションサポートを活用し、Spark ワーカーに負荷を分散させることで、タイムアウトやメモリ不足（OOM）のリスクを軽減してください。
• セキュリティ: VPC サポートにより、インターネット経由ではなく PrivateLink や VPN 経由で社内 API にアクセスできるため、セキュリティポリシーを遵守した設計が可能です。

次のアクション

まずは、既存のカスタムコードで実装している API 連携ジョブをリストアップし、本コネクタで代替可能か、特にフィルタープッシュダウンが API 側のパラメータとして正しく動作するかを検証することをお勧めします。

参考ドキュメント

• Connecting to data from a REST API: https://docs.aws.amazon.com/glue/latest/dg/connecting-to-data-rest-api.html