コーディングAIの「内側」で何が起きているのか#
arXivに2026年7月6日付で公開された論文「Latent Programming Horizons in Coding Agents」（André Silva、Han Tu、Martin Monperrus著）は、LLM（大規模言語モデル）ベースのコーディングエージェントが、ソフトウェアエンジニアリングタスクを処理する際に内部でどのような表現を形成しているかを初めて体系的に調査した研究です。
詳細解説：残差ストリームに刻まれた「プログラムの状態」#
コーディングエージェントは、ソフトウェアエンジニアリングのタスクを解決するために、推論・コード編集・テスト実行を数十ステップにわたって繰り返します。しかし、その裏側で動作する言語モデルが内部的に何を「理解」しているかについては、ほとんど研究されてきませんでした。
本研究では、言語モデルの残差ストリーム（モデル内部の隠れ状態の流れ）に着目しました。残差ストリームとは、Transformerアーキテクチャにおいて各層を通過する際に情報が積み重なっていく内部表現の経路です。
研究チームが発見した主要な知見は以下の2点です。
知見①：隠れ状態はプログラムの性質を線形にエンコードしている#
コーディングエージェントの隠れ状態に対してロジスティック回帰プローブ（内部表現から特定の情報を読み取るための軽量な分類器）を適用したところ、現在のコードが以下の条件を満たすかどうかを高精度でデコードできることが示されました。
- 現在のコードが構文的に正しくパースできるか
- テストスイートを通過しているか
- 失敗しているテストの数が減少しているか
- リグレッション（以前は通っていたテストが壊れること）が発生しているか
この正確性に関するAUC（識別性能の指標）は、2つのモデルと2つのベンチマークにまたがって最大0.83に達したと報告されています。
知見②：表現はエージェント自身の編集より「先を行く」#
さらに驚くべき発見が得られました。将来の編集結果——まだ実際にディスクに書き込まれていない編集の結果——を予測するようにトレーニングされたプローブが、偶然より有意に高い精度を、最大で約25ステップ先まで発揮できることが確認されました。
研究チームはこの現象を「エージェントの潜在プログラミングホライズン（latent programming horizon）」と命名しています。つまり、コーディングエージェントは表面上の行動（コードの編集）よりも先の未来を、内部表現として既に「持っている」ことを示唆するものです。
知見③：プローブはベンチマーク間で転用可能#
外部妥当性の検証として、あるベンチマークで学習したプローブを**再学習なしに別のベンチマークへ転用（transfer）**できることも確認されています。これはこの表現が特定のデータセットに過学習したものではなく、より汎用的な性質を持つことを示しています。
なぜこの研究が重要なのか#
この研究が注目に値する理由は、コーディングエージェントという複雑な自律システムの**機械論的解釈可能性（mechanistic interpretability）**に対して、具体的かつ定量的なアプローチを示した点にあります。
LLMの内部で何が起きているかはいまだ「ブラックボックス」とされることが多い中、この研究はシンプルな線形プローブによって意味のある情報が取り出せることを実証しました。論文著者自身も、この成果がコーディングエージェントの機械論的解釈可能性に向けたさらなる研究を促すと述べています。
筆者の見解： エージェントの内部状態を「外から覗く窓」を作れるということは、将来的にはエージェントの動作予測や異常検知、さらには制御可能性の向上につながる可能性を感じさせる研究です。ただし、この点はソース記事に明示されているものではなく、あくまで筆者の解釈であることをお断りしておきます。
まとめ#
André Silvaらの研究は、LLMベースのコーディングエージェントの残差ストリームがプログラムの状態を線形にエンコードしており、なおかつ実際の編集より最大約25ステップ先の将来状態まで内部的に表現していることを示しました。AUC最大0.83という定量的な結果と、ベンチマーク間での転用可能性という外部妥当性も確認されています。詳細な手法や実験設定については元記事を参照ください。
