自然言語E2EテストのOSS「e2e」｜TesterArmy製・AIがアプリを操作

e2e は、TesterArmy が公開した、自然言語E2Eテストを掲げるオープンソースのフレームワークです。テストに目標を自然言語で書くと、エージェント（モデル）が画面を読んでアプリを操作し、目標に到達させます。結果の確認は、同じテストの中でロケータや従来のアサーションでも、自然言語の検証でも書けます。web とモバイルの両方に対応し、ライセンスは Apache-2.0。GitHub では star 12.2k（fork 636・2026-10-30 時点の実測）と、公開直後から大きく伸びています。

名前の通り「e2e」は一般名詞でもあり、npm の e2e パッケージ（最新 0.21.3・2026-10-23 公開）がこれにあたります。似た発想の OSS も複数あるため、本記事は TesterArmy の e2e を指します。この記事は、仕組み・使い方・ほかのツールとの違い・pre-1.0 としての注意を、リポジトリと公式ドキュメントの実測で整理します。AIエージェントの枠組みを俯瞰したい場合はAIエージェントフレームワーク比較2026｜LangGraph・CrewAI・Dify等9種をStar数・実コードで検証もどうぞ。

これは何か：自然言語E2Eテストの書き味

公式の例は、次のように読めます（README より抜粋）。app.open で画面を開き、agent.act に目標を文で渡し、agent.assert と従来の expect で結果を確かめます。

// tests/checkout.e2e.ts
import { test, expect } from 'e2e';

test('a member upgrades to Pro', async ({ app, agent, screen }) => {
  await app.open('/settings/billing');

  await agent.act('upgrade the workspace to the Pro plan');
  await agent.assert('the invoice preview shows a prorated amount');

  await expect(screen.getByRole('status')).toContainText('Pro');
});

ポイントは、操作（act）と検証（assert や expect）を同じテストに混ぜて書けることです。曖昧になりがちな部分はエージェントに任せ、確定させたい部分はロケータと従来のアサーションで固定できます。

仕組み：act は録画して再生、assert は常時ライブ

e2e の実務上の工夫は、モデル呼び出しを必要な場面に絞るところにあります。ドキュメント（cache）によると、agent.act のステップは、後続の検証が通った時点でその操作が記録されます。次回の実行は、その記録をモデル呼び出し無しで再生します。コントロールや期待する最終状態が合わなくなったときだけ、エージェントが現在の画面から操作を引き継ぎます（自己修復）。一方、agent.assert・agent.waitFor・agent.extract は常にライブで実行されます。実行後のサマリは、使ったトークン・モデル呼び出し数と、キャッシュの再生／引き継ぎ／ミスの件数を並べて表示します。

モデルに渡す情報も絞られています。act の際にモデルが見るのは、命令・パラメータ・完了済みステップと、リダクト（伏字化）した画面のテキストスナップショット（要素の役割・名前・テキスト・状態）だけです。生の HTML・Cookie・ヘッダ・環境変数は渡さず、パスワード欄はマスクされ、設定した秘密値は画面上で <secret:name> に置き換わります。行動のあとは差分（変わった部分）だけがモデルに渡り、大きく変わったときに全体のスナップショットが渡される、という設計です。ノード id は要素が存在する間は変わらないため、モデルは同じ要素を追い続けられます。テストの意図を自然言語に寄せつつ、モデルへ渡す情報は最小に保つ、という方針が一貫しています。

実行後のサマリは、こうしたモデル利用を数字で見せます。ドキュメントの例では「AI 4.1k tokens・2 model calls」「Cache 4 replayed・1 handed off・1 missed」のように、消費トークンとモデル呼び出し数、キャッシュの再生／引き継ぎ／ミスの内訳が並びます。どのステップでモデルを使い、どこがキャッシュで済んだのかが毎回見えるので、コストの当たりをつけやすいのが実務的です。キャッシュの保存は read-write モードで、act の後に後続の検証が通ったときに、その試行の終わりに記録されます。検証を伴わない act は記録の対象になりません（確かめられていない操作を正解として焼き付けないため）。

使い方と構成：npx e2e init と 12 のパッケージ

導入は init から始めます。エンジン（web かモバイル）とモデルプロバイダを尋ね、設定ファイルと例のテストを書き出します。

npx e2e init

リポジトリは pnpm のモノレポで、本体の e2e（SDK・ランナー・CLI）に加え、用途別のパッケージが分かれています。主なものは次のとおりです。

examples には Vite・Next.js・Astro・Angular・Expo・SwiftUI・Jetpack Compose・Kotlin Multiplatform・Flutter・.NET MAUI の動くサンプルが各1本ずつ入っており、自分のスタックに近い構成から始められます。

CI 向けの作り込みもあります。@e2e-dev/github は結果を PR のコメントとして投稿するレポーターで、@e2e-dev/decision の decisionFilter() は「その PR が影響しそうにないテストを外す」ための仕組みです。大量の E2E を毎回すべて回すのではなく、変更に関係するものへ絞る発想で、モデル呼び出しのコストと実行時間の両方に効きます。実行環境も選べて、web ではローカルの Playwright のほかに、Kernel・Lightpanda（OSS のヘッドレスブラウザ）・smol（温めた Chromium の microVM を試行ごとに分岐）・Limrun・EAS・TestMu といったホスト型の選択肢が用意されています。モバイルも同様に、ローカルのシミュレータ／エミュレータとホスト型の両方に対応します。「エンジン（何で動かすか）」と「モデル（誰が判断するか）」を分けて差し替えられる構造が、このフレームワークの背骨です。

位置づけと注意：自然言語E2Eテストの現在地（pre-1.0・類似OSS）

良さそうに見える一方で、冷静に押さえるべき点があります。まず pre-1.0（1.0 への開発途上）で、README も「マイナー版の間に API や設定が変わりうる」と明記しています。本番の CI に組み込むなら、版を固定して追従する前提が要ります。次に、本記事はリポジトリと公式ドキュメント、npm の実測に基づいており（star 12.2k・npm 0.21.3・Apache-2.0・12 パッケージ・contributors は Oskar Kwaśniewski と Szymon Rybczak）、実際にアプリを操作させてキャッシュ再生まで動かす実行検証は行っていません。エージェントの挙動やキャッシュのヒット率は、対象アプリ・モデル・画面構造に左右されます。

同じ「自然言語で E2E」を掲げる OSS は他にもあり、たとえばQuickE2Eとは｜E2Eテスト AIの「8.6倍速い」を同梱の生データから計算し直したで、ベンチの主張を生データから検証しています。エージェントを束ねて動かす基盤という観点ではagensh｜複数エージェントを1つのハーネスで動かすも参考になります。e2e の差別化点は、record/replay によるコスト抑制、web とモバイルの両対応、そして ACP で手持ちのコーディングエージェントをそのまま実行器にできる点にあります。

まとめ

参照ソース

• tester-army/e2e（GitHub・README / docs / packages）（star 12.2k・Apache-2.0・12 パッケージ・2026-10-30 実測）
• npm: e2e（SDK・ランナー・CLI。最新 0.21.3・2026-10-23 公開）