Amazon MWAA Serverless が PythonOperator と BashOperator をサポート

Amazon Managed Workflows for Apache Airflow (Amazon MWAA) Serverless において、サーバーレスランタイム上でカスタム Python 関数およびシェルスクリプトを直接実行できる PythonOperator と BashOperator がサポートされました。実装にあたっては、Python モジュールやシェルスクリプトをコードパッケージとしてパッケージ化し、Amazon S3 にアップロードした上で、ワークフローの作成または更新時に参照します。サービスはワークフロー作成時にコードのスナップショットを作成するため、実行間の一貫性が保証されます。本機能は、Amazon MWAA Serverless が提供されているすべての AWS リージョンで利用可能です。

🚀 MWAA Serverless でのコード実行が大幅に柔軟に！

これまで MWAA Serverless では、タスクの実行ロジックを外部の AWS Lambda や AWS Batch などの別サービスへオフロードする必要があり、インフラ管理の手BUSTle が発生していました。今回のアップデートにより、PythonOperator と BashOperator が直接利用可能になったことで、データ変換や品質チェックといった日常的な処理を MWAA のランタイム内で完結させることが可能になりました。

📍 日本国内リージョンの状況

リサーチの結果、東京リージョン (ap-northeast-1) および大阪リージョン (ap-northeast-3) の両方で利用可能であることが確認できました。国内のデータエンジニアリング基盤の構築・運用において、非常に強力な選択肢となります。

💡 運用上のアドバイス

• 一貫性の確保: ワークフロー作成時にコードのスナップショットが作成されるため、S3 上のファイルを直接書き換えても即座に反映されない点に注意が必要です。コードの変更は必ずワークフローの更新（Update）プロセスを通じて行うようにしましょう。
• コストとリソース: サーバーレスであるため、インフラ管理は不要ですが、実行時間の長さやメモリ使用量に応じてコストが発生します。重い処理は引き続き AWS Batch 等との併用を検討してください。

✅ 次のアクション

まずは、既存の Airflow DAG を PythonOperator や BashOperator を使った構成にリファクタリングできるか検討し、PoC を実施してみるのが良いでしょう。

参照ドキュメント: Using Python and Bash operators