【速報】Flink 2.2がマネージドサービスに上陸！Java 17対応でパフォーマンス爆上げ、ただしAPI変更に要注意！

Amazon Managed Service for Apache Flinkが、Apache Flink 2.2をサポート開始しました。Java 17サポート、RocksDB 8.10.0によるI/O性能向上、シリアライゼーション改善などが含まれます。Dataset APIとScala APIは非推奨となりました。

Flink 2.2 アップグレード、何が変わる？

Flink 2.2へのアップグレードは、パフォーマンス改善のチャンスですが、いくつか注意点があります。

解決される課題:

• レガシーAPIの廃止: Dataset APIやScala APIを使っている場合は、DataStream APIまたはTable API/SQLへの移行が必要です。移行ガイドをしっかり確認しましょう。
• 状態の互換性: Kryoシリアライズやコレクションを使っている場合、状態の復元に失敗する可能性があります。AvroやProtobufへの移行を検討してください。
• コネクタの互換性: 一部のコネクタはFlink 2.2に対応していない場合があります。バージョンアップするか、代替手段を探しましょう。
• IMDS制限: IMDSの利用が制限されるため、環境変数やアプリケーション設定への変更が必要です。
• 読み取り専用ファイルシステム: /tmp 以外のファイルシステムへのアクセスが制限されます。ファイルシステム操作を /tmp にリダイレクトする必要があります。

日本の状況: 最新のリージョン状況を確認したところ、東京 (ap-northeast-1) と 大阪 (ap-northeast-3) の両方で Amazon Managed Service for Apache Flink が利用可能です。安心して利用できますね。

運用上の影響:

• 移行作業は、APIの変更や状態の互換性によっては大きくなる可能性があります。
• テストは必須です。特に状態の復元とコネクタの互換性を確認してください。

コスト: Flink 2.2へのアップグレード自体はコストに直接影響しませんが、状態の再構築やコネクタの更新によってKPUの使用量が増える可能性があります。

セキュリティ: IMDSの制限はセキュリティ向上に繋がりますが、既存のコードが動作しなくなる可能性があります。IMDSの使用状況を監査しましょう。

まず確認すべきこと:

1. 状態の互換性: 状態の種類を特定し、互換性を確認し、ローカル環境で復元テストを行いましょう。
2. APIとコネクタの互換性: Dataset API、Scala API、またはレガシーコネクタの使用状況を確認し、バージョンアップしましょう。
3. IMDSとファイルシステムの利用状況: コード内のIMDSや/tmp以外のファイルシステム操作を検索し、リファクタリングしましょう。

参考資料:

• Amazon Managed Service for Apache Flink 2.2
• Upgrading to Flink 2.2: Complete Guide
• State Compatibility Guide for Flink 2.2 Upgrades