AWS Glue が 100 種の新しい SaaS ネイティブコネクタを追加

AWS Glue において、主要な SaaS アプリケーションおよび REST API ベースのアプリケーションへのデータアクセスを簡素化する 100 種の新しいネイティブコネクタが追加されました。これにより、カスタムコードを記述することなく、Anthropic、Adyen、PagerDuty、Jenkins といった多様な外部サービスからデータを取得し、Amazon S3 や Amazon Redshift へ統合することが可能になります。本機能は AWS Glue バージョン 5.0 以上で利用可能です。

🛠️ エンジニア視点での解説

何が嬉しいのか？（課題と解決策）

これまで SaaS からのデータ抽出といえば、API 仕様を読み解き、認証処理やレートリミットを考慮したカスタムスクリプト（Python/PySpark）を自前で書くのが当たり前でした。これには開発コストだけでなく、API 仕様変更に伴うメンテナンスの負担も伴います。

今回のアップデートにより、AWS Glue Data Catalog 上で一度接続設定を行うだけで、既存の権限モデルを維持したまま複数の ETL ジョブで再利用できるようになります。「コードを書く」作業から「設定する」作業へシフトできるのは、データエンジニアにとって大きな解放です。

🇯🇵 日本国内での利用について

最新のリージョン状況を確認したところ、本機能は東京リージョン (ap-northeast-1) および大阪リージョン (ap-northeast-3) を含む、すべての AWS 商用リージョンで利用可能です。

💡 運用上のアドバイス

• Glue バージョンの確認: 本コネクタを利用するには AWS Glue バージョン 5.0 以上が必要です。既存のジョブが 2.0 や 4.0 の場合は、アップグレードの検討が必要です。
• セキュリティ: ネイティブコネクタを使用することで、認証情報の管理を AWS Glue の標準的な仕組みに集約できるため、コード内に API キーをハードコードするリスクを低減できます。
• コスト管理: SaaS 側の API コストや、Glue の DPU 消費量に注意してください。大量のデータを頻繁に取得する場合、SaaS 側の制限に抵触しないよう設計が必要です。

🚀 次のアクション

まずは、現在自社でカスタムコードを使って連携している SaaS が、今回の 100 種のリストに含まれているか確認しましょう。含まれている場合は、検証環境の Glue 5.0 ジョブで接続テストを行うのが近道です。

参照ドキュメント:

• AWS Glue Documentation: Available connectors
• AWS Glue Documentation: Connecting to individual connectors