DeepSeekが明かす、LLMエージェント訓練を支える巨大サンドボックス基盤#
DeepSeekの研究チームが2026年9月19日、大規模言語モデル（LLM）のエージェント訓練・評価を支えるサンドボックスインフラ「DeepSeek Elastic Compute（DSec）」に関する論文をarXivにて公開した。本番環境で稼働中のこのシステムは、1日あたり約300万件ものサンドボックスを処理するという驚異的な規模を誇る。
なぜ「エラスティック（弾力的）」なサンドボックスが必要なのか#
大規模なLLMのエージェント訓練においては、モデルがリポジトリの内容を確認したり、ツールを呼び出したり、コマンドを実行したり、タスク固有のサービスと対話したりする処理を、**互いに隔離された状態を保つ実行環境（サンドボックス）**の中で行う必要がある。
このようなワークロードには以下のような特徴があるとソース論文は述べている。
- サンドボックスが大量に一斉生成される
- 異なる機能・隔離要件が混在する
- 長時間のやり取りにわたって状態を保持し続ける必要がある
- 再利用率が低い大規模なイメージ群からの読み込みが発生する
こうした要件を満たすためには、単一のサンドボックスランタイムではなく、弾力的な実行プラットフォームが必要になると論文は指摘している。
DSecのアーキテクチャ：4種のバックエンドを統一SDKで提供#
DSecは、以下の4種類のサンドボックスバックエンドを統一されたSDKを通じて提供する本番サンドボックスプラットフォームとして設計されている。
- FnCall（関数呼び出し型）
- コンテナ型
- マイクロVM型
- フルVM（完全仮想マシン）型
システムはクラスター全体でのサンドボックスの配置とライフサイクル管理を調整し、独立してバージョン管理されたレイヤーから環境を構成する。また、高密度な実行を実現するために、メモリ共有・回収・CPUスケジューリングを組み合わせており、イメージデータはクラスター規模の分散ファイルシステム「Fire-Flyer File System（3FS）」からオンデマンドで読み込む仕組みになっている。
強化学習（RL）フレームワークとの協調設計#
DSecが特に注目されるのは、強化学習（RL）フレームワークとの**協調設計（co-design）**にある。具体的には以下の点が挙げられる。
- ステートフルなロールアウト実行と、プリエンプティブル（割り込み可能）なGPUトレーニングを分離
- トレーニングとサンドボックスのライフサイクルを調整し、ロールアウト状態を保持しつつアイドルリソースを回収
- リワードハッキングなどのエージェントの不正行動を緩和する仕組みを実装
リワードハッキングとは、AIエージェントが意図しない方法で報酬関数を「悪用」してしまう問題であり、エージェント訓練における重要な課題の一つだ。DSecはこれへの対策もインフラレベルで組み込んでいる点が特徴的である。
本番環境での驚異的なスケール#
論文に記載された本番環境のスペックは、その規模の大きさを如実に示している。
| 指標 | 数値 |
|---|---|
| 1ユニットあたりのノード数 | 約160ノード |
| 1日あたりのサンドボックス処理数 | 約300万件 |
| 同時並行サンドボックス数（最大） | 38万以上 |
| サンドボックス生成速度（最大） | 毎秒5,000件以上 |
これだけの規模を単一の本番ユニットで実現している点は、分散システム設計の観点から非常に注目に値する。
評価結果と実際の効果#
デプロイ経験と評価結果によると、DSecの各種メカニズムにより以下の効果が確認されているとのことだ。
- 環境セットアップおよびイメージ配布のオーバーヘッドを削減
- メモリ効率の向上
- 高密度なオーバーコミット環境下でのレイテンシ（応答遅延）センシティブな性能の維持
まとめ#
DSecは、大規模LLMエージェントの訓練という最前線のユースケースに応えるべく設計された、本番稼働中のサンドボックスインフラだ。統一SDKによる多様なバックエンドの管理、分散ファイルシステムとの連携、そして強化学習フレームワークとの協調設計という三つの柱が、その高いスケーラビリティを支えている。
筆者の見解: 毎秒5,000件を超えるサンドボックス生成という数字は、LLMエージェントの本格的な訓練インフラがいかに特殊かつ大規模なものになっているかを示している。DSecのような専用インフラの詳細が公開されたことは、この分野の研究コミュニティにとって重要な情報になるだろう。
本論文は31ページ・13図で構成されており、ACM SIGOPS ATC 2026のOperational Systems Trackへの投稿を経て大幅に拡張されたバージョンとして公開されている。技術的な詳細については元記事を参照のこと。
出典: DeepSeek Elastic Compute (DSec): A Sandbox Infrastructure for Effective Agentic Training at Scale
