【速報】CloudWatch LogsにHTTP経由でログを投入！SDK不要で爆速移行＆柔軟な連携を実現！

Amazon CloudWatch Logsが、HTTPベースのプロトコル（HLC、ND-JSON、Structured JSON、OTEL）によるログ取り込みをサポートしました。これにより、AWS SDKの統合が難しいサードパーティ製ソフトウェアなどからのログ収集が容易になります。

CloudWatch Logs HTTP取り込み、エンジニア視点で深掘り

今回のHTTPベースのログ取り込みサポートは、非常に嬉しい変更点です。これまでSDK連携が難しい環境でのログ収集は、常に頭の痛い問題でした。HLC、ND-JSON、Structured JSON、そしてOpenTelemetry対応と、多様なフォーマットに対応している点も素晴らしいですね。

解決される課題:

• SDK依存からの解放: サードパーティ製ソフトウェアやパッケージソフトウェアからのログ収集が容易になります。
• 高スループット: ND-JSON形式による高速な取り込みが可能になり、大量のログにも対応できます。
• 移行の容易性: 既存のログパイプラインからの移行がスムーズに行えます。
• OpenTelemetryとの連携: OTLP形式のログを直接CloudWatchに取り込めます。

【重要】日本リージョンでの可用性について: 最新のリージョン状況を確認したところ、現時点では、この機能は米国東部（バージニア）、米国西部（カリフォルニア）、米国西部（オレゴン）、米国東部（オハイオ）のリージョンでのみサポートされています。東京（ap-northeast-1）および大阪（ap-northeast-3）リージョンでの利用可否については、AWS公式の裏取りが必要です。AWSサポートに確認するか、マネジメントコンソールでAPIキーの生成を試してみてください。

運用上の注意点:

• 移行: HLCエンドポイントを既存のログパイプラインでテストし、JSONイベント形式との互換性を確認してください。
• 高ボリューム: ND-JSON形式を使用し、パフォーマンスとコストを最適化してください。
• セキュリティ: ベアラートークン認証を有効にし、APIキーのローテーションを定期的に行いましょう。SCPを使用して、サービス固有の資格情報の作成を制限することも有効です。

最初に試すべきこと:

1. リージョン確認: 東京および大阪リージョンでAPIキーの生成を試してください。
2. 疎通確認: HLCエンドポイントにテストJSONイベントを送信し、正常にログが取り込まれるか確認してください。
3. パフォーマンス検証: ND-JSON形式で高ボリュームのログを送信し、レイテンシ、スループット、エラー率を測定してください。

参考資料: Amazon CloudWatch Logs HTTP-based Protocol Ingestion Documentation