【AWS】Amazon Bedrock AgentCore BrowserがOSレベルの操作に対応！AIエージェントの限界を突破する「究極の自動化」が到来！

Amazon Bedrock AgentCore BrowserにOSレベルのインタラクション機能が追加されました。これにより、Chrome DevTools Protocol (CDP) では制御不能だった、プリントダイアログ、ファイルピッカー、システムショートカット（Ctrl+A, Ctrl+P等）の操作や、ブラウザのビューポートを超えたデスクトップ全体のスクリーンショット取得が可能になります。マウスのドラッグ、右クリック、スクロールもOSレベルの座標系で実行可能です。この機能は、東京リージョン（ap-northeast-1）で利用可能です。東京に続いて大阪リージョン（ap-northeast-3）での提供開始についても、AWS公式の裏取りを確認すると現時点では未確認です。

🚀 エージェント自動化の「壁」がついに崩れた！

これまで、AIエージェントがWebブラウザを操作する際、CDP（Chrome DevTools Protocol）の制約によって、ブラウザの外側にあるOSのダイアログや、ブラウザの枠を超えたマウス操作ができないという大きな課題がありました。今回のアップデートは、まさにその「壁」を突破するための強力な武器になります。

🛠️ 技術的な課題解決：なぜこれが重要なのか？

1. ダイアログ操作の自動化: これまで「印刷」や「ファイルアップロード」の際にポップアップが出るたびに止まってしまうAIエージェントは、実務レベルのワークフローでは使い物になりませんでした。OSレベルの操作が可能になったことで、これらが解消されます。
2. 完全な環境把握: デスクトップ全体のスクリーンショットが取れるようになったことで、ビジョンベースのAI（マルチモーダルLLM）が、ブラウザ以外の要素も含めて画面全体のコンテキストを理解できるようになります。これは、より高度な「人間のような操作」を実現するための鍵です。

🇯🇵 日本国内での利用状況

最新のリージョン状況を調査したところ、東京リージョン（ap-northeast-1）では利用可能であることが確認できました。一方、大阪リージョン（ap-northeast-3）については現時点では未確認です。日本国内で開発を進める場合は、まずは東京リージョンでの展開を前提とするのが現実的です。

💡 実務へのアドバイスと運用上の注意点

• セキュリティ: OSレベルで画面をキャプチャしたりキーボードを操作したりするため、権限管理（IAM）には細心の注意を払ってください。機密情報が映り込みやすい「デスクトップ全体」のキャプチャは、特にGDPRや社内規定に沿ったデータ保護ポリシーの確認が必要です。
• パフォーマンスと座標: OSレベルの操作は、画面解像度に依存します。スクリプトを環境ごとに共通化する場合、解像度による座標ズレに注意してください。また、CDP経由よりも若干のレイテンシが発生する可能性があるため、負荷テストも推奨します。
• 移行: 既存のCDPベースのスクリプトはそのまま動くので、段階的に高度な操作が必要な箇所だけOSレベルの機能を取り入れる「ハイブリッド運用」がベストです。

🧪 まずはこれを試そう！

1. ファイル選択ダイアログの自動化: ブラウザ内の「アップロード」ボタンを押した後に開くOS標準のファイルピッカーを操作できるかテストする。
2. 右クリックメニューの検証: コンテキストメニュー（右クリック）から特定の操作を行えるか確認する。
3. システムショートカット: Ctrl+P などのショートカットが正しく動作するか検証する。

参照資料: Amazon Bedrock AgentCore Browser Developer Guide https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/browser-tool.html