Claude、CLIからPCを直接操作可能に。macOS向けコンピュータユース機能がプレビュー公開

何が起きたか

Anthropicは、Claude Code CLIで新たに「コンピュータユース」機能のプレビュー版をリリース。これによりClaudeはmacOS上でアプリを開く、クリック、テキスト入力、スクリーンショット撮影といった画面操作を直接実行できるようになった。

Claudeは従来、MCP（Model Context Protocol）サーバー、Bash、ブラウザ操作といった複数のインターフェースを持つが、新機能はこれら全てをカバーしないGUI専用ツールやネイティブアプリの制御を実現する最後の砦として機能する。

背景と経緯

Developer Platform上での段階的な機能拡張の一環。Desktop版では既にコンピュータユース機能が存在したが、今回はCLIベースの開発者にも同等の能力を提供。Pro/Maxプランの加入者向けで、Claude Code v2.1.85以降と対話型セッションが必須要件。

TeamおよびEnterpriseプランではまだ利用できない。非対話型モード（-pフラグ使用時）での動作も対象外。

技術的な仕組み

コンピュータユース機能は「computer-use」という組み込みMCPサーバーとして実装。デフォルトでは無効状態で、ユーザーが明示的に有効化する必要がある。

セットアップフローは以下：

1. /mcpコマンドで設定メニューを開く
2. computer-useサーバーを検出して有効化
3. macOSの「アクセシビリティ」と「画面収録」権限をClaudeに付与

Claudeは1セッション内で1つのアプリのみを操作、作業中は他アプリが隠れる。ユーザーは任意の時点で操作を停止可能。初回使用時にはアプリごとの許可プロンプトが表示される。

アーキテクチャの優先順位は明確：MCPサーバー → Bash → Chrome拡張機能 → コンピュータユース、という順で選択される。ネイティブアプリやシミュレーター、APIを持たないプロプライエタリツール対象時のみ最後の手段として動作。

業界への影響

Software testing、UI/UXデバッグの領域で顕著な変化をもたらす可能性。従来はPlaywright等のテストフレームワーク設定が必須だったエンドツーエンドUI検証が、自然言語指示だけで完結。

ネイティブアプリ開発の検証サイクル短縮も視野。SwiftやObjective-Cで書いたmacOSアプリの「ビルド→起動→操作→スクリーンショット」パイプラインを単一会話内で実行。Visual Studio Code、JetBrains IDEsとの統合も進行中で、エディタからの直接アクセスも可能。

今後の展望

プレビュー段階での制限：現在macOS限定、Team/Enterprise未対応。ドキュメントでは「研究プレビュー」と明記されており、Windows対応やLinux拡張の可能性は未言及。

トラブルシューティングセクションの存在から、多セッション競合、権限再プロンプト、MCPサーバー検出失敗といった実装課題が既知。今後のアップデートで安定化・拡張が予定されている模様。

試してみるには

Claudeコミュニティでは既にワークフロー例が提示。ネイティブビルド検証、レイアウトバグ再現、iOSシミュレーターフローテストの3パターンが公式ドキュメントで紹介されている。

クイックスタート：Pro/Max加入 → Claude Code v2.1.85以上 → computer-use有効化 → macOS権限許可 → 「Swiftアプリをビルドして起動、全タブをクリックして動作確認してくれ」という指示で実行可能。

参考リンク

• ソース

この記事はAI業界の最新動向を速報でお届けする「AI Heartland ニュース」です。