推論が速くなると、節約できる労力だけでなく「体験の種類」が変わる。 Gimlet Labs 共同創業者の Natalie Serrino 氏は、AIエージェント レイテンシ(応答の待ち時間)がどこまで下がれば何が作れるようになるかを、講演「What will you build when AI is 10× faster?」(AI Engineer CODE 2026)で問う。スライドを綺麗にするのは約2分で終わる。だがその頃、人はもう別の作業に移っている——有用さは、十分に速いことの証明にはならない。本記事は公式の書き起こしをもとに、その中身を読み解く。
30秒でわかる講演の主張
- ・誰の話:Gimlet Labs 共同創業者の Natalie Serrino 氏。推論の速さが設計に効く話
- ・しきい値:0.1秒=瞬時/1秒=思考が途切れない/10秒=注意が離れる
- ・速いモデルの落とし穴:推論を10倍速くすると待ちの正体がツールに移る(105秒→28秒、ツール18%→67%)
- ・核心:速さは設計の場所を変える。防御は被害の前に着ける。背景監視が対話内のチェックへ
この連載は AI Engineer CODE 2026 の講演を1本ずつ読み解いてきた。最終回は、ここまでの「品質・権限・証拠・文化」を支える土台——速さ——を扱う。第3回の ソフトウェアのアトリエ|Armin Ronacher講演で読む が「どの部分を速くするか」を問うたのに対し、Serrino 氏は「速くなったら何が作れるか」を問う。エージェント運用の全体像は Claude Code|2026年版・インストールからCLAUDE.md・Hooks・本番運用までの実装手引き にまとめている。
レイテンシは「体験の種類」を変える
RESPONSE-TIME THRESHOLDSNatalie Serrino(Gimlet Labs)が引く、昔からの3つの境目
待ちは体験の種類を変える——3つのしきい値
-
0.1s
約0.1秒=瞬時に感じる
直接操作のように、待っている感覚がない
-
1s
約1秒=思考が途切れない
流れを保ったまま次へ進める
-
10s
約10秒=注意が離れ始める
ユーザーは別のことに切り替えてしまう
離脱
違いを手触りにするため、Serrino 氏は古いウェブメール SquirrelMail を、ダイヤルアップ相当の速度と現代の接続とで動かして比べる。どちらもタスクはこなせる。片方は、ずっと多くの我慢を要求する。
要点は、期待が動くことだ。ある能力は、登場した時は目覚ましく感じられ、より速い代替が当たり前になると苦痛なほど遅く感じる。エージェントを「人が仕事を全部やる時間」と比べるのは簡単だが、ユーザーはその仕事の中のあらゆる休止も体験する。
Serrino 氏は、よく知られた3つの応答時間のしきい値を引く。約0.1秒は瞬時に感じ、約1秒は思考の流れを保ち、約10秒でユーザーの注意が離れ始める。これは Jakob Nielsen の応答時間の目安でもある。設計に役立つレンジで、どのワークロードも人も同じ耐性を持つという約束ではない。長い背景タスクと、直接操作のインターフェースとでは、使える時間の予算が違う。問いは、待ちが設計を決めなくなったら、どんな体験を作れるかだ。
トークン工場とレイテンシ:1つでない目的がある
1人のために速くトークンを出すことと、多くのユーザーに大量のトークンを出すことは、別の目的だ。Serrino 氏は「Token Mint Factory」という、3通りの得点の付け方があるゲームを持ち出す。
| 目的 | 得点の付け方 |
|---|---|
| レイテンシ最小化 | 1つのトークンをできるだけ速く出す |
| スループット最大化 | 60秒でできるだけ多くのトークンを出す |
| 締め切り達成 | 各トークンを20秒のSLA内に保ちつつ、できるだけ多く出す |
同じ工場でも、目的ごとに違う戦略が要る。総出力で勝つ設定が、長い遅延を許せない対話では間違いになりうる。プレイヤーの走りは、レイテンシとスループットのフロンティア(境界)を描く——速いトークンは、同じ資源では数が減りうる。設備をアップグレードすると、そのフロンティア自体が動き、複数の目的を同時に良くできる。ゲームの外でも、この区別は効く。今日のフロンティア上で点を選ぶのはスケジューリングの問題、フロンティアを動かすのはエンジニアリングの問題だ。
Gimlet のやり方は、モデルの仕事を部品に分け、それぞれを違う種類のアクセラレータで動かす(異種混在の推論)。GPU が、あらゆる部分にとって最適とは限らない。デバイス間で仕事を動かすとネットワークの負荷が増えるので、仕事とハードの対応を良くした分が転送のコストを上回るときだけ割に合う。Gimlet はその取引を割に合うものにでき、同じ電力で推論のフロンティアを改善できる、と報告する。講演は、それをあらゆるモデル・配備で一般の高速化保証に変えるほどのベンチ詳細は示していない。
付随するコーディングエージェントの実演は、異種混在の推論で Snake を作り、従来の構成と比べる。Serrino 氏は、速い側が、もう片方がまだ作業している間に次の変更へ取りかかれるほど早く終わる、と説明する。大事な単位は、完了した1回の反復——作り、確かめ、次を頼む——だ。トークン生成が速いことに価値が出るのは、そのループを縮めるときだ。
速いモデルは、次の待ちを露わにする
FASTER MODEL, NEXT WAIT推論を10倍速くすると、待ちの正体が入れ替わる
速いモデルは、次の待ちを露わにする
元のターン:105秒
スライド編集の1ターン
- 推論 82%時間の大半はモデルの推論
- ツール呼び出し 18%小さな最適化に見える
推論を10倍速:28秒(シミュレーション)
同じツールは速くならない
- 推論 31%推論は縮むが、ターン全体を待つのは変わらない
- ツール呼び出し 67%最も価値のある最適化先に変わる
当然の反論がある——エージェントは、たいていツールを待っているのではないか。
Serrino 氏はスライド編集のタイムラインに戻る。105秒のターンは、推論82%・ツール呼び出し18%に分かれる。シミュレーションで推論を10倍速くすると、ターン全体は28秒になり、ツールが時間の67%を占める。ユーザーはターン全体を待つ。はるかに速いモデルでも、変えていないツール呼び出しを速くは終わらせられない。推論が縮むと、以前は小さな最適化に見えた仕事が、最も価値のある見どころになる。
だから Serrino 氏は、速い推論からフルスタックの最適化へ移る。エージェントが既知の入力と期待される出力で改善を検証すること、データセンターからモデル層までのテレメトリに導かれた自己最適化、を挙げる。小さな部品を単独で最適化しても、体験はほとんど変わらないことがある。計測は、ワークロードを端から端まで追う必要がある。データセンターからモデル層までのテレメトリに導かれた自己最適化は、その「端から端まで」を仕組みにする試みだ。
防御は、被害の前に着かなければならない
ARRIVE BEFORE THE DAMAGE速さは秒を削るだけでなく、設計の場所を変える
防御は被害の前に着く——背景監視から対話内チェックへ
非同期の監視(事後の認識)
悪意あるアップロードがファイル上書きの脆弱性を突く。防御は異常に気づくが、害はすでに起きている(node-tar の実在脆弱性で実演)
速い防御(実行前の阻止)
十分速ければ、アプリが待てる時間内に判断できる。背景のタスクが、対話の中のチェックになりうる
最も重い例が来る。Serrino 氏は、トラフィックを見張るセキュリティエージェント付きの、犬の写真サイト(おもちゃ)を実演する。筋書きは遊びだが、アプリと、その土台にある node-tar の脆弱性は本物だ、と彼女は言う。
通常のアップロードは成功する。悪意あるアップロードは、ファイル上書きの脆弱性を突く。防御は何かがおかしいと気づくが、非同期で監視しているため、害を与える操作は介入より先に起きてしまう。2回目の走りでは、より速い防御を使い、悪意あるリクエストを間に合って止める、と説明する。この実演は、推論の速さだけでアプリが安全になるという主張ではなく、タイミングの制約を示す。事後の認識と、効果の前の阻止は、リクエストの寿命の別の場所にある。
有用な問いは、エージェントが、アプリの待てる時間内に判断を下せるか、だ。下せるなら、背景監視として設計されたタスクが、生きた対話の中のチェックになりうる。これは、進捗バーから数秒を削るより、ずっと面白いアーキテクチャの可能性だ。セキュリティを事後でなく経路の中に置く発想は、当サイトのセキュリティ記事で扱う「自システム確認コマンド」を、人手でなくエージェントが実行時に担う未来図にもつながる。
まだ届いていないしきい値を設計する
Serrino 氏は、はるかに高いトークン速度が何を解き放つかを問うて締める。例として、ライブのセキュリティ判断、誰かが説明するそばからアプリを作ること、コードを打つのを超えた補完のような対話を挙げる。
これらは探るべき方向で、未来のトークン速度を名指すだけで示された能力ではない。それぞれに越えるべきしきい値がある——会話として成り立つ最大の遅延、リクエストが効果を持つ前の締め切り、作り手が去らずに反復を続けられるだけ短い休止。締めの誘いは、あなたの製品でそのしきい値を見つけることだ。待ちを設計で避けなくてよくなったら、何を対話の中へ直接置くか。名指しで未来の速度を約束するのではなく、いま自分の作業の「どの休止が人を去らせているか」を測ることが、最初の一歩になる。
日本語環境の開発にどう効かせるか
Gimlet のような推論基盤を持たなくても、問いの立て方は小さなチームにそのまま移せる。要点は3つだ。
・「人が全部やる時間」でなく「作業中の休止」で測る:エージェントが速いかは、人の代替時間との比較ではなく、0.1/1/10秒のしきい値で考える。10秒を超えると注意が離れる
・推論を速くする前に、ターン全体の内訳を見る:推論だけ速くしても、ツール呼び出し(API・ビルド・検索)が残ればターンは縮まない。計測は端から端まで。縮める単位は「1回の反復」
・速さで設計の場所を変えられないか問う:事後の監視・レポートに回していた判断を、十分速ければ実行の前・対話の中に置けないか。とくにセキュリティの確認は、被害の前に着けることに価値がある
Serrino 氏の講演は、連載の締めにふさわしい。品質(第1回)・権限(第2回)・工房(第3回)・証拠(第4回)・文化(第5回)はどれも、エージェントが十分速く応える土台の上で初めて「対話の中の体験」になる。待ちを設計で避けなくてよくなったとき、あなたは何を対話の中へ置き、何を作るだろうか。
参照ソース
・Natalie Serrino「What will you build when AI is 10× faster?」(AI Engineer CODE 2026)講演ページ・書き起こし: https://ai.engineer/code/2026/talks/natalie-serrino
・講演動画(YouTube / AI Engineer, 該当時刻から): https://www.youtube.com/watch?v=ZZ19zhYnDKY&t=686s





