対照例 METRの2025年のRCTでは、当時のAIツールで熟練OSS開発者が本人の予想に反し平均19%遅くなった。その後METR自身が「急速な進歩により現在のツールを代表しない」と追記。1年前のスナップショットは、それほど短期間に古くなる
2026-01 Cursor ブラウザをゼロから
数百エージェント並列、約1週間、100万行超・1000ファイル
2026-02 Anthropic Rust製Cコンパイラ
16のClaude、約2000セッション、約2万ドル、約10万行。Linux 6.9をx86 / ARM / RISC-V向けにビルド可能
2026-06 Stripe 5000万行Rubyの全体移行
チームなら2か月超の移行を1日で(Anthropic発表によれば。第三者検証は限定的)
2026-07 Bun Zig→Rust全面移植
実プロダクトのランタイムを移植し、本番投入 → 次のスライドで詳細
大規模コードが生成されたことと、製品品質で完成したことは同義ではない。実験と製品事例を分けて見る
53.5万行
もとのZigコード(コメント除く)
11日間
1人のエンジニア+Fable 5+約50のDynamic Workflows
6502
コミット数
半年前には「大規模なものを作る実験」だった。1年後には、何千万回もダウンロードされるランタイムの実移植に使われた
長時間・大規模コード・ツール利用・自律的な修正が標準機能になった
人間が一手ずつ指示する前提から、ループを設計して監視する前提へ
檻と許可プロンプトから、長時間働かせるハーネスへ
Issue修正から、リポジトリ規模・移植・再実装・数日単位の仕事へ
別々の方向から見ても、同じ変化を示している
人間の主戦場は、コードを書くことから
何を作るか・どう確かめるかへ移る
・ソフトウェア開発の全工程が終わった、という意味ではない
・人間の仕事が明日消える、という意味でもない
・ただし「実装は人間の希少能力」という前提は、もう置けない
技術側とプロセス側の、2本立てで考える
重要なのは最高性能の更新だけではない。今の最高性能が、より安く・速く・日常的に使える層へ降りてくる
半年後には、今の「高級な知能」を燃やすことへの心理的な抵抗が消え始める
実装が制約でなくなると、意思決定と検証が制約になる
顧客は動くものを見て初めて「欲しいもの」が分かる。生成→操作→反応→仕様更新の高速ループが必要になる
人間が全diffを読む方式はスケールしない。テスト・型・静的解析・複数モデルレビューで機械的証拠を積み上げる
失敗を分類し、修正し、再実行する。いつ停止し、いつ人間へ上げるか。ループの設計品質が出力品質を決める
なぜこの設計か説明できるか。何を保証し何を保証しないか。事故時に原因を追跡できるか
自己点検 発表者自身が検証・品質保証を研究しており職業上のバイアスの可能性はある。ただし各社の公開実装も、モデルの賢さそのものより検証可能なループと環境へ重心を移している
音声会話は「予想より早く来た」ではなく「やっとまともな全二重会話が来た」が正直な感覚。重要なのは音声の新規性ではなく、会話相手が論点を保持し、構成候補を作り、事実確認へつなげ、資料の設計図まで作れるようになったこと
| 1年前の予想 | 半年後 | 1年後(いま) |
|---|---|---|
| 大規模プロジェクトを自動開発 | Cコンパイラ・ブラウザ等の大規模実験 | Bunの実用コードベース全面移植 |
| 人間はAIの環境を整備する側へ | Harness Engineeringが言語化 | Loop Engineering、Human-on-the-loopへ |
| GUIを含む作業の自動化 | ブラウザ操作・Computer Useが一般化 | GPT-5.4以降はネイティブなPC操作を統合 |
前回「僕の仕事はあと2年半でなくなる」と言った。1年たって、なくなったというより実装から検証・仕様・ループ設計へ仕事が移動した。では次の1年で、その仕事もどこまで自動化されるか
どこまで離れるか
どこまで安く、普通になるか
半年後の「普通」を、いまの上限から想像しない
この資料一式・発表設計資料
構成を検討したChatGPT(gpt-live)との壁打ちログ
過去2回の発表
MCPとエージェント(2025-04) speakerdeck.com/stealthinu/mcptoeziento
生成AIの「現在地」だけでなく「速度」も見よう(2025-07) speakerdeck.com/stealthinu/...
ご質問どうぞ
さとうきよし(@stealthinu)
みんなのPython勉強会 in 長野 2026-07-19
挨拶。タイトルは強い言葉だが、今日はこの仮説を検証材料つきで渡すのが目的、と最初に言う。0:00-2:00
前回とほぼ同じ自己紹介。LLM研究開発は正確には2023年8月から、もう2年半になる。品質保証・検証の話は後半の予想②で自分の研究テーマとして再登場する
前回予想の答え合わせ回であることを最初に示す。2:00まで
結論先出し。聴衆に「検証すべき仮説」として渡す。口頭では「コーディング部分の実装勝負は、もう終わったのではないか」とも言い換える。2:00-5:00
万能AGIの話ではないと最初に区切る。反論1「定義が恣意的では」への先回りでもある
ここから4本の軸で見ていく。軸1は製品の歴史。5:00-10:00
ここは実感ベースと明示。製品の優劣は当時の使用感として話す
各社ベンチは条件が違い横比較不可。あくまで発表者の実感と明示。Fable 5は公開直後に一時停止し7/1再提供、運用・安全面の課題も伴う点は口頭で補足
10:00-15:00。この章の中心フレーズ
流行語の変遷ではなくボトルネックの移動である、が要点
深掘りしすぎない。未来予想への橋として1枚
軸2の結論。「以前は人間がループに入ると速かった。今は入ると遅くなる」
15:00-19:00
「MCPはオワコン?」への回答。置き換えではなく役割分担
OpenAI Harness Engineering (2026-02)、Anthropic Managed Agents (2026-04) など各社が同方向
19:00-23:00
SWE-benchには学習混入や検証器誤判定の課題もある点は口頭で
倍増則は根拠であって保証ではない。19%の話は「評価が古くなる速度」の例として使う
Cursorのブラウザは実験と明記。前回予想「大規模プロジェクトの自動開発」の答え合わせ
今回いちばん強い具体例。Jarred Sumner個人+監督1人という点を強調
23:00-25:00。収束パート
結論スライド。下段3行で誤解を防ぐ
25:00-28:30。ここから未来予想。[予想]であることを明示して話す
「RTX 3090でFable 5が動く」と断定しない。能力水準が降りる速度の話
バイアスの自己開示を必ず入れる
28:30-30:00。人間味のある締めパート
当たった自慢ではなく「仕事の移動を観測するシリーズ」として締める
最後の一枚。少し間を置いて読む
質疑用の付録(完全年表、METRグラフ、MCP/Skills比較、各事例の数字)は設計資料側にある