AIが書いたPRは、良いコードでも「何が起きたか」の説明を取り違える。 だから書き手に渡すのは、履歴の丸投げではなく「証拠パケット」だ。「検査が通った」と書いても、その検査は最終版に走ったのか、例外を飛ばしていないか、前の版を最終版のように要約していないか——。Stephen Chin(Neo4j の VP of Developer Relations)と Cassandra Chin は、この「実装と証拠のずれ」を軸に講演「Give the PR writer an evidence packet, not another context dump」(AI Engineer CODE 2026)を組み立てる。本記事は公式の書き起こしをもとに、その中身を読み解く。
30秒でわかる講演の主張
- ・誰の話:Stephen Chin(Neo4j, VP DevRel)と Cassandra Chin。PRの記述をAIに正しく書かせる試み
- ・核心:diffは何が変わったかしか示さない。毎回アーカイブ全体を渡すのをやめる
- ・証拠パケット:この変更の証拠を出所つきでグラフに記録(Relate)し、近傍だけ渡す
- ・モデル配分:書き手は強いまま、レビュアーは照合に絞る。PRベンチで記述品質↑・トークン約半分
この連載は AI Engineer CODE 2026 の講演を1本ずつ読み解いている。第1回の All Code Is Slop|AIのコードを信頼する「検証ピラミッド」 が「検証が通ったと言い切る前に何を確かめるか」を、第3回の ソフトウェアのアトリエ|Armin Ronacher講演で読む が「アーカイブ全体を毎回エージェントに推論させない」を扱った。今回はその2つが、PRの記述という具体で交わる。エージェント運用の全体像は Claude Code|2026年版・インストールからCLAUDE.md・Hooks・本番運用までの実装手引き にまとめている。
diff は物語の全部を語れない——なぜ証拠パケットが要るか
DUMP VS PACKETStephen & Cassandra Chin が置く対比。PRの書き手に何を渡すか
文脈の丸投げではなく、証拠パケットを渡す
コンテキストダンプ(丸投げ)
毎回アーカイブ全体を渡し、モデルに関係を作り直させる。履歴は圧縮・欠落し、事実を誤って結びつける隙が生まれる
証拠パケット
この変更の証拠だけを、出所(どのコマンド・どのディレクトリ・どの版)とセットで渡す。書き手もレビュアーも同じ参照を見る
夫妻のプレゼンは、開発者とレビュアー、そしてどんどん高くつく修正の繰り返しを描いたコミックで進む。その笑いは実務の問題を運ぶ——エージェントに履歴を何度も再構築させても、より正確な記述が保証されるわけではない。同じ不確かさを、ただ高くつかせるだけかもしれない。
Cassandra 氏は、このプロジェクトを「学生がAIでどうプログラムを作るか」を理解する研究までさかのぼる。提出されたプログラムには結果が入っているが、努力と判断の多くはプロンプトやエージェントのセッションに残る。同じ「欠けた履歴」が、PRでも効いてくる。
diff は何が変わったかを示せる。だが、なぜそのコマンドを実行したか、どの作業ディレクトリを使ったか、その検査が最終版に適用されたか、どの失敗した試行を後の実行が上書きしたかは、単独では立証できない。現在のセッションから書くエージェントは、その文脈を圧縮したり失ったりしているかもしれない。複数の trace から再構築すれば記録は豊かになるが、事実を誤って結びつける新たな機会も生まれる。
講演の例は、検査とその走った順番だ。「検証が成功した」という一文は、実際の実行と提出された中身を指していなければならない。trace のどこかにテストコマンドが「ある」というだけでは根拠にならない。曖昧さの周りに説明の文章を増やしても、曖昧さは解けない。この主張は、第1回でトークンの7割を検証に使う話と同じ地点を、別の角度から突いている。
証拠パケットの作り方:書く前に「関係」を計算する(Relate)
BUILD THE PACKET毎回モデルに作り直させず、関係はグラフに記録して引く
証拠パケットの作り方
-
traceを集める
プロンプト・エージェントのセッション・実行の痕跡を集める
-
関係をグラフに記録(Relate)
どのコマンドがどの作業ディレクトリに属し、どの検査がどの版に走ったかを、埋め込みのグラフ層に記録する
-
該当変更の近傍を取り出す
LM推論でなくローカル計算で、この変更に関わる近傍(証拠+出所)だけを引く
-
準備済みブリーフを渡す
書き手は毎段の再構築ではなく、整った小さなブリーフを受け取る
夫妻のプロジェクトは、視覚的には Tracetoon(文脈を集め、書く段とレビューする段を分ける)として示される。元の流れは、trace を調べ、記述を書き、それをレビューし、必要なら文脈を足してループする。証拠は良くなるが、ループはなお裏付けのない主張を生みうる。
元の流れ——trace を調べ、記述を書き、レビューし、必要なら文脈を足してループする——は、使える証拠を増やす。それでもループは、裏付けのない主張を出しうる。文脈を足すほど記録は厚くなるが、どの事実がどの事実を支えるかの関係までは、文章の追加では固定されないからだ。
提案された変更が、埋め込みのグラフ層 Relate だ。証拠の断片がどうつながるかを、モデルに毎回再発見させて金を払う代わりに、システムが関係を記録し、ある変更に関わる近傍を取り出す。コミックはこのアーキテクチャをそのまま言い表す——「毎回アーカイブ全体を持ち歩くのでなく、この変更の証拠を、その出所とともに持ってくる」。グラフが効くのは、問いが関係的だからだ。どのコマンドがこの作業ディレクトリに属するか。どの検査がこの版に走ったか。どの説明がこの編集につながるか。小さなパケットが、関連する事実とその出所を一緒に運べる。
夫妻は、このデータベースの仕事を「LLM推論ではなくローカル計算」と説明する。それでシステム全体がタダになるわけではない——収集も保存も計算も残る。変わるのは、繰り返しの取り出しと関係づけを、どの部品が担うかだ。言語モデルは、証拠再構築の全段を背負う代わりに、用意されたブリーフを受け取る。これは書き手とレビュアーに共通の参照も与える。レビュアーは、大きく雑な履歴から別の説明を独自にでっち上げるのでなく、境界のあるパケットと主張を突き合わせられる。
書き手は強いまま、レビュアーの仕事を狭める
WRITER STRONG, REVIEW NARROW証拠が整うと、レビューの仕事は狭く・速くなる
書き手は強いまま、レビュアーは照合に絞る
-
1.未裏付けの主張がないか
「検証が通った」は、実際の実行と提出物を指しているか。traceにテストコマンドがあるだけでは根拠にならない
-
2.抜けた発見がないか
例外やエラーを飛ばして、前の版を最終版のように要約していないか
-
3.ドラフトとパケットの食い違いがないか
レビュアーは研究をやり直さず、主張と境界のあるパケットを突き合わせるだけにする
モデルの割り当ての選択は、わざと直感に反する。チームは強い書き手を残し、より安いレビュアーで照合を絞る。安い書き手は、繰り返し直してもフィードバックを明快な説明ではなく機械的なチェックリストに変えてしまう、と報告する。
証拠がすでに整理されていると、レビューはより制約される。レビュアーは、裏付けのない主張、抜けた発見、ドラフトとパケットの食い違いを探す。研究の問題を丸ごと解き直すよう求められはしない。これは「レビュアーは常に小さいモデルを使うべき」という規則ではない。ここで効くのは、アーキテクチャがレビューに必要なものを変えたからだ。難しい仕事の一部が、決定的な関係と共有ブリーフに移されている。
裏を返せば、証拠が整理されていないまま安いレビュアーに回すと、レビュアーは境界のない履歴から「別のもっともらしい説明」を各自ででっち上げ、書き手と食い違うだけになる。先に関係を固めることが、安いレビューを成り立たせる前提だ。
この「書き手と確認役を分け、確認役の仕事を狭める」構図は、第2回の Claude Code 自動モードと権限設計 で見た、全PRに同じCIをかけ・別のエージェント群がバグ報告を二重確認する運用とも重なる。
ドラフトのループ全体を測る
夫妻は、各版を自分たちの PR ベンチマークで評価する。監査 trace・コード・モデルによる判定・人のレビューを使う。グラフで裏打ちした方式は、記述の品質が上がり、トークン使用がおよそ半分になったと報告する。これはプロジェクトチームが示した結果で、本記事で独立に再現したベンチマークではない。
仕組みが、なぜ両方が同時に動けるかを説明する。繰り返しの検索が減り、修正のループが減れば、トークンは減る。帰属が良くなり証拠が連結されれば、書き手が間違った物語を語る機会は減る。コミックは任意の出力で、アーキテクチャ上の貢献は証拠パケットのほうだ。
| 測ったもの | 方法 | 報告された結果 |
|---|---|---|
| 記述の品質 | PRベンチ(監査trace・コード・モデル判定・人のレビュー) | 向上 |
| トークン使用 | 同上 | およそ半分 |
コミックは任意の出力にすぎず、残るのは「証拠を関係として持つ」というアーキテクチャの判断だ。講演は、証拠の多い他のワークフローへ一般化して締める。エージェントにアーカイブをもう一度推論させる前に、確実に保存・照会できる関係を見つける。大きな文脈窓より、小さく連結された記録のほうが役に立つことがある。PRなら目標は単純だ——レビュアーに、何が変わり、なぜ変わり、実際に何が検証されたかを理解させる。
日本語環境のPR運用にどう効かせるか
Neo4j のグラフDBを使わなくても、原則は小さなチームにそのまま移せる。要点は3つだ。
・PRの記述は「trace全部」ではなく「この変更の証拠」に絞る:AIにPR本文を書かせるなら、セッション全履歴を丸投げせず、変更したファイル・走ったコマンド・その結果(出所つき)だけを渡す。曖昧さは説明文を足しても消えない
・「検証が通った」は実行と提出物を指させる:検査コマンドが trace にある、ではなく、最終版に対して走って通った、を根拠にする。確認コマンドの過大解釈は当サイトでも繰り返し減点された論点だ
・書き手と確認役を分け、確認役の仕事を狭める:記述を書くモデルと、未裏付け・抜け・食い違いだけを照合するモデルを分ける。確認役は研究をやり直さない
Chin 夫妻の講演は、第1回(検証が通ったと言い切る前の確かめ)と第3回(アーカイブを毎回推論させない)を、PRという誰もが毎日触る場で1つに束ねる。AIに書かせる量が増えるほど、「何を根拠にそう書いたのか」を文章ではなく構造で持たせる価値が上がる。レビュアーの時間は、物語を疑うことではなく、証拠と突き合わせることに使えるようになる。
参照ソース
・Stephen & Cassandra Chin「Give the PR writer an evidence packet, not another context dump」(AI Engineer CODE 2026, Day 2)講演ページ・書き起こし: https://ai.engineer/code/2026/talks/online-stephen-cassandra
・講演動画(YouTube / AI Engineer, 該当時刻から): https://www.youtube.com/watch?v=y9JtCCZP2MQ&t=25059s





