Continual-ARCとは｜エージェントの「メモリ」は学習になっていたか、新ベンチと3つの教訓

AIエージェントに「メモを残させる」「自分でスキルを書かせる」と、使うほど賢くなると言われます。新しいベンチマーク Continual-ARC（arXiv 2611.14505、Daniel Lenton、2026年11月10日）は、それが本当に「学習」になっているのかを測りました。結論は、ハーネスに記憶を持たせても、明示的な手順を教えないと概ね効かない、そして未見のタスクでは伸びず、伸びたのはモデルの重みを学習させた方式だけ、というものです。この記事では、採点の仕組み・なぜ効かなかったか・Claude Code や自作エージェントのメモリ設計への教訓を、一次情報で整理します。

エージェントの作り方の全体像は AIエージェントフレームワーク比較2026｜LangGraph・CrewAI・Dify等9種をStar数・実コードで検証 にまとめています。エージェントのメモリ機能そのものは agentmemory徹底解説｜Claude Code・CursorのAIエージェントに永続メモリを与えるMCPサーバー に、題材のハーネスは OpenClawとは｜38.6万★AIアシスタントOSSの使い方・Hermes Agentとは？使い方・インストール・できること にあります。

Continual-ARCとは——「使うほど賢くなる」を測る

論文の問題意識は、「エージェントのハーネス（メモやスキルを溜める仕組み）は継続学習の手段だと言われるが、既存のベンチマークは1つの分野に偏り、各問題を1回しか出さず、記憶型と重み型を同じ土俵で比べていない」というものです。そこで Continual-ARC は、ARC-AGI の3エディションから、専門知識の要らないパズルの長い流れを作りました。同じタスクが間を空けて新しい入力で戻ってくる一方、新しいタスクも来続けます。これにより、「前に見たものを覚えているか（記憶）」と「初めてのものに対応できるか（汎化）」を、同じ流れの中で測れます。

学習者は問題ごとに何を持ち越しても構わないので、メモに溜める記憶型と、重みを更新する重み型を、同じ尺度で比べられるのが設計の肝です。

採点の仕組み——予算の割合、記憶と汎化の2軸

採点は「どれだけフィードバックの予算を使ったか」で決まります。各問題で学習者は、例を見る（有料）、答えを出す、ハーネス内で行動する、を選べます。間違えて出し直すのも有料です。1問につき、使ったフィードバック予算の割合でスコアが付きます（少なく済むほど良い）。ブログの例では、「例を3/16 使い、予算の19%を消費」のように数えます。

流れを一通り終えたら、学習者を凍結して2つのテストをします。

• 記憶（memorization）：出会ったタスクの新しい入力で解かせる。前の経験を活かせているか
• 汎化（generalization）：未見のタスクで解かせる。身につけたものが新しい問題に効くか

比較対象は、ハーネス（記憶の保持あり・なし）を Qwen3.5-9B と GLM-5.3 Flash に載せたもの、2つのプロンプトの下限、プログラム induction 法、そして Qwen3.5-9B の重みを GLM-5.3 Flash の動きを真似るよう学習させたものです。

結果——ハーネスの記憶 vs 重み学習

論文のアブストラクトの結論は明快です。ハーネスに記憶を持たせても、専門家の明示的な指示がない限り、記憶は概ね改善しない。多くのハーネス方式は、各タスクの例をただキャッシュするだけの下限にすら届きませんでした。そして未見タスクで伸びたハーネス方式は1つもなく、重み学習だけが大きく伸びました。

ブログの具体値でも、同じ絵が見えます。数字で並べると次のとおりです。

出典: Continual-ARC（arXiv 2611.14505）のアブストラクトと unify のブログ（2026-11-12 確認）。数値は一次情報から転記

記憶を「読み出し」で再現するのと、重みに「書き込む」のとで、効き方が違ったわけです。

なぜメモリが効かなかったのか——保存しない・読まない・一般論

「メモ機能はあるのに効かない」理由を、ブログは具体的に分解しています。

• そもそも保存しない：Prime Agent は、600セッションのあいだ一度も教訓を global に保存せず、毎回「No saved harness entries yet.（保存されたハーネスの項目はまだありません）」から始まりました。
• 保存しても読み戻さない：OpenClaw は、保存を指示すると1回の実行で 47〜84件のメモを書きました。しかし、戻ってきた訪問で、そのパズル名のついたメモを読んだのは最大でも1%でした。書くだけ書いて、次に活かしていません。
• 一般論ばかりで手元で確かめない：放っておくと、役に立つ節約はほぼ0でした。ところが「1パズルにつき1つの Python ファイルを保存し、戻ってきたら最初にそれを実行する」という具体的な手順を教えると、どのハーネスでも 0.17〜0.62 の節約が測れました。散文のメモより、再実行できる手続きが効いたということです。

つまり、メモリが効かないのは機能が無いからではなく、保存・呼び戻し・検証の運用が噛み合っていないからでした。

Claude Code・自作エージェントに活かす3つの教訓

ブログは3つの教訓を挙げています。これを Claude Code の CLAUDE.md・Skills・hooks に当てはめると、次のように読めます（ここは筆者の提案で、公式機能の仕様は各ドキュメントで確認してください）。

1. 気前よく保存し、後で削る。 迷ったら残す（支払った例も含めて）。使われなかったものを後からまとめて消す運用にします。
2. メモではなく「関数」を保存し、手元で確かめる。 散文のメモより、再実行できる検証済みスクリプトを Skills に置きます。実行して正しさを確かめられるものほど効きました。
3. 聞かれなくても自動で呼び戻す。 今の作業に似たものが自動で読み込まれるよう、スキルの説明文（description）を具体的に書き、hooks で差し込みます。「保存したのに読まれない」を防ぐ仕掛けを先に入れます。

散文のメモより「実行して確かめられる手続き」を残す、という点は、スキルに検査スクリプトを同梱する作り方と相性がよい部分です。

注意点——発表元の立場と、Continual-ARC と実務の違い

鵜呑みにしないための留保が3つあります。

• 発表元の利害：unify は「会社のエージェントの重みを学習させる」事業を進めていて、別のブログ「The harness is not enough（ハーネスだけでは足りない）」でもそう主張しています。「重み学習が勝つ」という結論は、同社の事業にとって都合がよい向きです。中立の第三者の再現は、本記事の時点では確認していません。
• ARC は実務ではない：題材は専門知識の要らないパズルです。コードベースの事情や社内の決まりを覚えるような、実務の継続学習にそのまま当てはまるとは限りません。
• 数値の鮮度：ブログの具体値は 2026-11-12 に確認したものです。リーダーボードは更新されうるので、最新は一次情報で確かめてください。本記事は、論文のアブストラクトと unify のブログで確認できた数値だけを載せ、確認できなかったリーダーボードの個別値は載せていません。

それでも、「メモ機能がある＝学習している」ではない、という指摘は、メモリやスキルを使うすべての開発者に効きます。保存し、呼び戻し、手元で検証する——この3点が噛み合っているかを、自分のエージェント設定で見直す価値はあります。

参照ソース

• Continual-ARC: Measuring Skill Acquisition over a Working Lifetime（arXiv 2611.14505） — Daniel Lenton、2026-11-10 投稿（v1）。結論と採点方法の一次情報
• Why we built Continual-ARC（unify ブログ） — 採点の仕組みとハーネスごとの具体値（2026-11-12 確認）
• The harness is not enough（unify ブログ） — 発表元の主張（結論への利害の背景）
• Continual-ARC リーダーボード — 各手法のスコア（更新されうる。最新は要確認）