Transformerアーキテクチャ

大規模言語モデルの長文脈問題を「睡眠」機構で解決する新研究。オフライン再帰処理でSSMの高速重みを更新し、深い推論タスクの精度を向上させる仕組みを解説します。