cua(trycua/cua・GitHubスター20,132・読み方は「クーア」)は、AIエージェントにコンピュータを丸ごと操作させるComputer-Use Agent(コンピュータ操作エージェント)のオープンソース基盤です。「AIにブラウザを触らせる」ツールはもう珍しくありません。しかし現実のPC作業は、Webブラウザの中だけで完結しないことの方が多い。ネイティブのデスクトップアプリを開き、サインイン済みのSlackやFinderを触り、APIなど生えていない社内ツールの画面をクリックする——人間が普段やっているこの「コンピュータ操作」を、AIにそっくりそのまま任せるのがcuaです。
しかも、その操作をあなたのMac本体ではなく、隔離された使い捨ての仮想マシン(VM)/コンテナの中で走らせる。macOSでもLinuxでもWindowsでもAndroidでも、同じ1つのAPIで。ここがcuaの核心であり、既存の「ブラウザ操作エージェント」や「コーディングエージェント」との決定的な違いです。
この記事では、①cuaがブラウザ操作エージェントと何が違うのか、②Driver / Sandbox / Lume / cua-bench という4本柱がそれぞれ何をするのか、③どのAIモデルで動くのか、そして④編集部がApple M2実機でインストールと動作可否を確かめた実測結果までを、公式リポジトリとドキュメントを一次ソースに、盛らずに正確に整理します。まずは、cuaが「何をするツールなのか」を30秒で。
- ・課題:AIエージェントにWeb以外の作業(ネイティブアプリ・サインイン済み画面・API無しの業務ソフト)を任せたいが、ブラウザ操作ツールでは届かない。しかも自分のPCで直接走らせるのは怖い。
- ・解決:cuaはOSを丸ごと隔離したVM/コンテナをAIに与える。AIは画面を見てクリック・入力・コマンド実行し、母艦を汚さずに実PC相当の作業をこなす。
- ・正体:Computer-Use Agentのプラットフォーム。4本柱=Driver(既存の実マシンを背後で操作)/Sandbox(使い捨てクラウド/ローカルVM)/Lume(Apple SiliconでmacOS VM)/cua-bench(評価・学習データ生成)。
- ・モデル:Claude・GPT-5.4・Gemini・UI-TARSからオープンウェイト(GLM/Qwen/OpenCUA等)までモデル非依存。LiteLLMで束ねる。
- ・健全性:★20,132・MIT・企業(Cua AI, Inc.)運営・コントリビューター約75名・リリース週複数本。ただしCua Fleetの公開SDKは現状プレースホルダ(機能なし)・LumeはApple Silicon必須・テレメトリ既定ON。
AIエージェントの全体像や主要フレームワークの位置づけは AIエージェントフレームワーク比較2026|LangGraph・CrewAI・Dify等9種をStar数・実コードで検証 にまとめています。本記事はその中でも「AIにコンピュータ操作そのものを任せる」という一角を深掘りする位置づけです。
1. cua(Computer-Use Agent)とは — AIにコンピュータを丸ごと与えるOSS
cuaは、AIエージェントが本物のコンピュータを操作するための実行環境・SDK・評価基盤を、まとめて提供するプラットフォームです。名前の由来はそのまま Computer-Use Agent。公式のキャッチコピーは「Scale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks(オープンソースのドライバ・クロスOSのフリート・ベンチマークで、コンピュータ操作2.0をスケールさせる)」です。
ここで言う 「Computer-Use 2.0」 という言葉に、cuaの思想が凝縮されています。従来の「コンピュータ操作エージェント」は、スクリーンショットを撮る→座標をクリックするというGUIループが中心でした。cuaはこれを一段広げ、エージェントが状況に応じて3つの操作面(action surface)を使い分けるという捉え方をします。
Claude / GPT-5.4 / Gemini / UI-TARS ..."] --> D{"どの操作面が最適か"} D -->|"確実で速い"| C["コード実行
シェル・スクリプトを直接走らせる"] D -->|"構造化API"| T["ツール / MCP呼び出し
定義済みの操作を呼ぶ"] D -->|"人間と同じ画面操作"| G["GUI操作
スクリーンショットを見てクリック・入力"] C --> S["隔離されたサンドボックス
macOS / Linux / Windows / Android VM"] T --> S G --> S S -->|"新しいスクリーンショット・結果"| M
つまりcuaのエージェントは、「ファイルを消す」なら遠回りな画面クリックではなくrmを直接実行し、決まった操作はMCPツールを呼び、GUIでしか操作できない場面だけ人間のように画面を触る——という具合に、最短で確実な手段を選ぶ。この「コード+ツール+GUIの3面を1つのエージェントが状況で切り替える」考え方が、cuaの言う2.0です(公式ブログ「Computer Use 2.0」・2026年7月13日公開)。
そして、その操作の実行場所が隔離されたサンドボックスである点が、安全性と再現性を支えます。開発元は米国の Cua AI, Inc.(cua.ai)。個人の趣味プロジェクトではなく、企業がバックにいる製品としてのOSSです。
cuaは2つの入口を持ちます。ゼロからコンピュータ操作エージェントを作るなら、SandboxとAgent SDKで隔離環境ごと組み立てる。既にあるコーディングエージェント(Claude Code・Cursor・Codex)に実マシンの操作力を足したいなら、Driverを噛ませてバックグラウンド操作を与える。同じ「コンピュータ操作」でも、目的でどの部品を使うかが変わります。
2. 何が違うのか — ブラウザ操作エージェントとの決定的な差
「AIにPCを操作させる」系のツールは他にもあります。では、cuaはブラウザ操作エージェント(Playwright/CDPベースのbrowser-useなど)やコーディングエージェント(OpenHandsなど)と、具体的に何が違うのか。結論から言えば、触れる範囲と隔離のしかたが違います。
当サイトで解説している browser-use完全ガイド のようなブラウザ操作エージェントは、ブラウザのタブの中が主戦場です。Webフォームの入力やスクレイピングには最適ですが、デスクトップアプリやOSの機能には手が届きません。一方 OpenHands のようなコーディングエージェントは、シェルとファイル・コードの世界が主戦場で、GUIそのものを人間のように触るわけではありません。
cuaは、その両方を含むOS全体を操作対象にします。公式ドキュメントの表現を借りれば、「安定したWebワークフローならブラウザ自動化で十分。だが、視覚的な状態・ネイティブアプリ・サインイン済みセッション・適切なAPIを持たないソフトにタスクが依存するとき、コンピュータ操作エージェントが有用になる」。つまりcuaは、ブラウザでは届かない領域——署名済みセッション、レガシーな業務ソフト、Blender/Figma/DAW/ゲームエンジンのようなキャンバス系ツール——を狙う道具です。
そしてもう一つの違いが隔離です。cuaには2つの実行モデルがあります。
・Cua Sandbox(使い捨てのコンピュータ):タスクごとにまっさらな隔離VM/コンテナを立ち上げ、ライフサイクルも認証情報もそのタスクに閉じる。作業はあなたの個人マシンの外で完結し、終われば捨てられる。
・Cua Driver(既存の実マシンを背後で操作):手元の本物のPCを、カーソルやフォーカスを奪わずにバックグラウンドで操作する。最小権限のパーミッションポリシーを敷ける。
前者は「安全な砂場を毎回作る」発想、後者は「今あるマシンに慎重に手を入れる」発想です。どちらも隔離と権限を設計の中心に据えている点が、母艦で直接コマンドを走らせる素朴なエージェントとの差になります。この「AIエージェントを隔離環境で安全に走らせる」考え方は、CubeSandbox解説(60ms起動MicroVMでAIエージェントを安全実行) とも通じますが、cubesandboxがコード実行のためのmicroVMにフォーカスするのに対し、cuaはGUI操作を含むフルOSのサンドボックスを提供する点が異なります。
Cua Sandboxの `Sandbox.ephemeral()` は、名前のとおり短命(ephemeral)な環境を作ります。AIに「この請求書PDFを開いて金額を転記して」と頼むとき、その作業を自分のMacでやらせるとファイルもクリップボードも汚れる。cuaは新品のLinux/macOS/Windowsを一瞬で用意し、そこで作業させ、終わったら破棄する。失敗しても母艦は無傷——これがサンドボックス型の一番のうまみです。
3. Driver / Sandbox / Lume / cua-bench — 4本柱の構成要素
cuaは1枚岩のアプリではなく、役割の違う部品の集合です。モノレポ(libs/)にRust・Swift・Python・TypeScriptのパッケージが同居しています。全体像を4本柱(+新機能のFleet)で押さえましょう。
| 部品 | 役割 | 言語/実行系 | 使いどころ |
|---|---|---|---|
| Cua Driver | 既存の実マシンを背後で操作(カーソルを奪わない)。MCPサーバー兼CLI。macOS/Windows/Linux | Rust製デーモン | Claude Code・Cursor・Codexに実マシン操作力を追加 |
Cua Sandbox SDK(cua) |
1つのAPIで任意OSの隔離VM/コンテナを起動・操作。クラウドもローカル(QEMU)も | Python 3.11+ / TS | ゼロからコンピュータ操作エージェントを作る |
Agent SDK(cua-agent) |
ComputerAgent 本体。LiteLLMでモデルを束ね、合成エージェント・ツール・人間介在に対応 |
Python / TS | どのモデルでどう操作させるかを記述 |
| Lume | Apple SiliconでmacOS/Linux VMをほぼネイティブ速度で作成・管理 | Swift(Virtualization.Framework) | 実macOS環境をAIに操作させたいとき |
| Lumier | Lumeの macOS/Linux VMをDocker互換で扱う | Docker | コンテナ運用に寄せたいとき |
| cua-bench | ベンチマーク&RL環境(OSWorld/ScreenSpot/Windows Arena)。軌跡を学習用にエクスポート | Python(cb CLI) |
エージェントの評価・学習データ生成 |
このうち、READMEの公式デモ(下)が示すのが Sandbox の世界観です。AIが隔離されたデスクトップを開き、アプリを操作していきます。
Lume — Apple Silicon上の「合法な」macOS仮想化
4本柱のなかでもcuaならではの武器が Lume です。Appleの Virtualization.Framework を使い、Apple SiliconのMac上でmacOS/Linux VMをほぼネイティブ速度で動かせます。macOSを仮想化してAIに操作させられるプラットフォームは多くありません。--unattended の sequoia/tahoe プリセットを使えば、lumeユーザー作成・SSH有効化・自動ログイン・スリープ/画面ロック無効化まで済んだVMがオフラインで用意されます(既定の認証情報は lume / lume)。
LumierはこれをDocker互換のインターフェースで包み、コンテナ運用の流儀でmacOS/Linux VMを回せるようにする補助部品です。
Cua Fleet(Cyclops)— ただし公開SDKは現状プレースホルダ
2026年7月に登場した新しい柱が Cua Fleet(内部コードネーム「Cyclops」)で、多数のコンピュータ操作エージェント/サンドボックスをオーケストレーションする層です。ただし、ここは正直に注意が必要な部分です。
npmの
@trycua/fleet(v0.0.3)やPyPIの cua-fleet(v0.0.2)は、現状プレースホルダ(名前の予約)で、実機能がありません。SDKのREADME自身が「placeholder release… no functionality yet」と明記しています。実体のオーケストレーションエンジン(cyclops-cs・terraform-provider-cyclops)は libs/fleet で活発に開発中ですが、正式リリースはこれから。同様に cua-cloud のPyPIパッケージもプレースホルダです。「Fleetがもう使える」と早合点しないでください。4. 対応モデルと動かし方 — Claude・GPT・Geminiを1つのAPIで束ねる
cuaの大きな強みはモデル非依存であることです。Agent SDK(cua-agent)は LiteLLM を土台に、渡された「モデル文字列」を対応するエージェントループへ振り分けます。ソース(libs/python/agent のループ登録)で確認できる対応モデルは、商用のcomputer-use APIからオープンウェイトの視覚/グラウンディングモデルまで幅広い。
| 系統 | 対応モデル(一次ソースで確認) | 位置づけ |
|---|---|---|
| Anthropic | Claude computer-use(claude-* 全般) |
商用の代表格 |
| OpenAI | computer-use-preview / GPT-5.4 ネイティブループ |
商用 |
| Gemini computer-use(2.5 / 3.x プレビュー) | 商用 | |
| ByteDance | UI-TARS / UI-TARS 2 | オープン系の定番 |
| オープンウェイト | GLM-4.5V・Qwen3-VL・OpenCUA・InternVL・Holo 1.5・Moondream 3・UI-Ins ほか | ローカル/自前ホスト可 |
| グラウンディング特化 | GTA1・Gelato・Moondream 3 など | 座標当ての精度担当 |
| ブラウザ操作 | Yutori N1(browser loop) | Web寄りタスク |
| 汎用 | OmniParser+任意LLM / 合成(planner+grounder) / 汎用VLMフォールバック | 何でも組み合わせ |
重みの読み込み方(アダプタ)も複数あり、Hugging Faceローカル・MLX(Apple Siliconローカル)・Azure ML・Cuaホスト・人間介在(human-in-the-loop) から選べます。つまり「Claudeで動かす」も「手元のMacでオープンウェイトを回す」も「プランナーはGPT・座標当ては専用の軽量モデル」も、同じ ComputerAgent の枠内で書けるということです。
画面のどこを押すかを正確に当てるグラウンディングは、汎用の大規模モデルより専用の軽量モデルが得意なことが多い。cuaは
planner+grounder の記法で、計画は賢い汎用LLM・クリック座標の特定は専用グラウンディングモデル、と役割分担した合成エージェントを組めます。コストと精度のバランスを取りやすいのが利点です。実際のコードは驚くほど短く、OSが変わってもAPIは同じです(公式READMEより)。
# Python 3.11 以降。pip install cua で導入
from cua import Sandbox, Image
# OSやランタイムが変わっても同じAPI
async with Sandbox.ephemeral(Image.linux()) as sb: # .macos() .windows() .android() も
result = await sb.shell.run("echo hello") # シェル実行
screenshot = await sb.screenshot() # 画面キャプチャ
await sb.mouse.click(100, 200) # クリック
await sb.keyboard.type("Hello from Cua!") # 入力
Image.linux() を .macos() や .windows() に変えるだけで操作対象のOSが変わる——このクロスOSの一貫APIが、cuaの開発体験の要です。
5. Apple M2実機で確認 — Computer-Use Agentの導入と動作可否(実測)
ここが、README和訳では出せない当記事の価値です。編集部がApple M2(arm64)のMacで、cuaが本当に動くのかを実際に確かめました。結論から言うと、SDKの導入とローカル実行環境の判定までは問題なく通りました。一方で、AIが実際に操作するにはモデルのAPIキーが要り、macOS VMは数十GBのイメージが要る——その線引きも正直に示します。
① SDKの導入。 cua は複数パッケージをまとめたメタパッケージです。Python 3.13の仮想環境で入れたところ、依存を含め261パッケージ・343MBが約6秒で入りました(uv 使用)。重要なのは、torchやultralyticsのような重いML依存が既定では入らないこと——AGPLの ultralytics はオプションの cua-agent[omni] を指定したときだけ引き込まれます。
# 推奨(統合メタパッケージ)。Python 3.11〜3.13
pip install cua
# 個別導入も可(従来どおり公開・バージョン管理されている)
pip install cua-computer cua-agent
導入後、import cua が公開する Sandbox / Image / login / whoami などのシンボルは、READMEのAPIとそのまま一致しました。
② ローカル実行の可否判定。 cuaは母艦で何が動かせるかを自己診断できます。編集部のM2で check_local_support(Image.linux()) を呼ぶと、RuntimeSupport(linux on darwin/arm64: supported, software-only, runtime=docker+qemu [installed]) を返しました。Docker+QEMUが導入済みで、ローカルのLinuxサンドボックスが起動可能という判定です(実際のVMイメージ取得は数GBのため、本記事では起動そのものは行っていません)。クラウドを使う whoami は当然ながら Not authenticated. Run cua_sandbox.login() or set CUA_API_KEY. を返し、cua.aiクラウドはAPIキー必須であることも確認できました。
③ Lume(macOS仮想化)。 リリースのバイナリ(lume-0.3.16-darwin-arm64)を取得して直接実行したところ、lume --version は 0.3.16、lume ls は No virtual machines found と、Apple M2上で正常に起動しました。実際に macOS VMを作るには、lume ipsw が返すAppleのリストアイメージ(数十GB)のダウンロードが必要になります。
導入したら、以下の読み取り専用コマンドで「入っているか・何が使えるか」を自分の環境でも確認できます(破壊的操作はありません)。
# 1) 何のモデル/ランタイムが使えるかを対話で確認
python -c "import cua; print(cua.check_local_support(cua.Image.linux()))"
# 2) クラウドにログイン済みか(未ログインなら CUA_API_KEY を促される)
python -c "import cua; print(cua.whoami())"
# 3) Lumeのバージョンと、いま作成済みのmacOS VM一覧
lume --version
lume ls
# 4) 取得可能なmacOSリストアイメージのURL(ダウンロードはしない)
lume ipsw | tail -n 1
cua本体はMITで無料ですが、実運用のコストは分けて考えてください。(a) モデル:Claude・GPT・GeminiなどのAPIキーと利用料。(b) クラウド:cua.aiのマネージド環境を使うなら
CUA_API_KEY の従量課金。(c) ローカル:自分のMacでDocker+QEMU(Linux)やLume(macOS)を回すなら追加費用はほぼ無いが、macOSイメージは数十GBのディスクを食う。「無料で全部回る」わけではない点は最初に押さえておくと安全です。6. cuaは使えるのか — ライセンス・活性度・バス係数の正直な評価
「自分のプロジェクトに採用してよいか」を判断するため、良い点と、正直に受け止めるべき点を並べます。
良い点。 まず健全性が高い。GitHubスターは20,132、ライセンスはMIT(サードパーティのKasmもMIT)。コントリビューターは約75名で、トップは開発元Cua AI, Inc.のコアメンバー(f-trycua=Francesco Bonacci、ddupont808=Dillon DuPont ほか)。企業がバックにいる多人数開発で、リリースは2026年7月時点で週に複数本という高頻度、直近コミットは2026-07-18です。個人の単独プロジェクト(バス係数≈1)が抱えるリスクとは明確に違い、この点は安心材料です。機能面も、クロスOSの一貫API・モデル非依存・評価/学習まで一気通貫、と「作る→動かす→測る」を1つの傘で完結できます。
一方で、正直に受け止めるべき点が3つあります。
① 一部の新機能はまだ「名前だけ」。 前述のとおり、目玉の Cua Fleet は公開SDK(@trycua/fleet・cua-fleet)がプレースホルダで機能ゼロ。cua-cloud のPyPIパッケージも同様です。ロードマップ上の魅力的な機能が、すでに使えるかのように語られやすい点は割り引いて読むべきです。採用時は「今この瞬間に動く部品(Sandbox・Agent・Lume・Driver)」と「これから来る部品(Fleet)」を分けて評価してください。
② Lumeの macOS VMは Apple Silicon 必須、かつ初回起動に癖。 macOSを仮想化できるのはApple Silicon機だけ。しかも公式表によれば TahoeプリセットはE2E検証済みな一方、Sequoiaは初回起動で設定アシスタントのアクセシビリティ画面が出る既知課題があります(issue #2155)。Linux/Windows/Androidはクラウドやローカルで動きますが、「手元のIntel Macで気軽にmacOS VM」はできません。
③ テレメトリが既定でON。 Lumeは擬似匿名の導入/利用メタデータを既定で収集し(lume config telemetry disable で停止可)、@trycua/core もPostHogのテレメトリを持ちます。プロンプトやVM名・ファイルパス・VM内容は集めないとされますが、送信が既定で有効な点は組織ポリシーによっては要確認です。加えて、オプションの cua-agent[omni] を使うとAGPL-3.0の ultralytics が入るため、クローズドソース製品に組み込む場合はライセンス整合の確認が要ります(omniを使わなければ回避可能)。
| 使う人 | 判定 | コメント |
|---|---|---|
| 個人・研究者(コンピュータ操作を試したい) | ◎ 有力 | MITで無料、ローカルLinuxサンドボックスまで数分。まず pip install cua から |
| macOS操作を自動化したいチーム | ○ 推奨(Apple Silicon前提) | Lumeで実macOS VMを扱える希少な選択肢。Sequoiaの初回起動癖は織り込む |
| エージェントの評価・学習をしたい研究開発 | ◎ 適任 | cua-benchでOSWorld/ScreenSpot等+軌跡エクスポート。学習データ生成に向く |
| 大規模オーケストレーションが今すぐ必要 | △ 時期尚早 | Fleet公開SDKはプレースホルダ。現状は自前オーケストレーションが必要 |
| クローズド製品への組み込み | ○ 要確認 | 本体はMITで可。[omni]のAGPL・テレメトリ既定ONを社内審査に |
7. 既存の代替と何が違うのか — 比較で位置づける
最後に、近い領域のツールと並べて、cuaの立ち位置を明確にします。同じ「AIにPCを操作させる」でも、操作面・隔離・OS範囲・用途が違うのが要点です。
| 観点 | cua | ブラウザ操作系(browser-use等) | コーディング系(OpenHands等) |
|---|---|---|---|
| 操作対象 | OS全体(GUI+CLI+ネイティブアプリ) | ブラウザのタブ内(Web) | シェル・ファイル・コード |
| 隔離 | 専用VM/コンテナ(cloud or local QEMU) | 実ブラウザ or headless | Dockerサンドボックス |
| 対応OS | mac / Linux / Windows / Android | OS非依存(ブラウザ依存) | 主にLinux |
| 到達範囲 | サインイン済み・API無しアプリ・レガシー | Webのみ | リポジトリ・コード |
| モデル | 非依存(Claude〜オープンウェイト) | 実装依存 | 実装依存 |
| 特徴的用途 | 実行+評価+学習データ生成 | Web自動化 | ソフトウェア開発 |
たとえば「社内の古い受発注アプリ(Web APIなし)に毎朝ログインして在庫を転記する」ようなタスクは、ブラウザ操作エージェントでは届きにくく、コーディングエージェントの守備範囲でもありません。GUIを人間のように触れて、かつ隔離環境で安全に回せるcuaが噛み合う典型です。逆に、対象が安定したWebサイトだけなら、より軽量なブラウザ操作エージェントの方が速く安く済みます。「Web内で完結するか、OSの世界に踏み出すか」が、cuaを選ぶかどうかの分水嶺です。
既にClaude CodeやCursorを使っているなら、それらを捨ててcuaに乗り換える必要はありません。Cua DriverをMCPサーバーとして足すだけで、いま使っているエージェントに「実マシンをバックグラウンドで操作する力」を追加できます(
claude mcp add --transport stdio cua-driver -- cua-driver mcp)。cuaは競合を置き換えるより、既存のエージェントに手足を生やす使い方とも相性が良いのです。まとめ — cuaを入れるべきか
cuaは、「AIエージェントにコンピュータそのものを操作させる」というテーマに、実行環境(Sandbox/Lume/Driver)・モデル抽象(Agent SDK)・評価基盤(cua-bench)を一気通貫で用意した、企業運営の本格的なOSS基盤です。ブラウザの中に閉じないOS全体の操作、隔離VMによる安全性、クロスOSの一貫API、そしてモデル非依存——この組み合わせは、既存のブラウザ操作エージェントやコーディングエージェントにはない強みです。★20,132・MIT・多人数開発・高頻度リリースという健全性も、採用のハードルを下げます。
同時に、過大評価は禁物です。目玉のCua Fleetは公開SDKがまだプレースホルダで、「もう使える」と読むと肩透かしを食います。Lumeの macOS VMはApple Silicon必須で初回起動に癖があり、テレメトリは既定ON、[omni]拡張はAGPL依存を持ち込む。そして「ソフトは無料」でも、実際にAIを動かすにはモデルのAPI料金やクラウド従量課金がかかります。
とはいえ、この線引きさえ理解すれば、個人・研究者・評価/学習用途なら、pip install cua から数分で試せる価値ある選択肢です。まずはローカルのLinuxサンドボックスで「AIに使い捨てのコンピュータを与える」感覚を確かめ、必要になったらLumeやクラウド、そして成熟を待ってFleetへ——という段階導入が、cuaの一番賢い付き合い方でしょう。
参照ソース
・trycua/cua(公式リポジトリ) — スター・ライセンス・コントリビューター・リリースの実測、README全文
・cua ドキュメント(cua.ai/docs) — Get Started / Agent SDK / Sandbox SDK / Computer-Use 2.0 コンセプト
・Lume — macOS Virtualization — Apple Silicon上のmacOS/Linux VM管理・CLIリファレンス
・LICENSE.md(MIT License) — 本記事のライセンス評価の原文
・編集部によるApple M2実機検証(2026-07-19) — pip install cua・check_local_support・lume 各コマンドの実出力