MegaTrain

研究者らが開発したMegaTrain技術により、1台のGPUで1000億パラメータ超の大規模言語モデルを完全精度で訓練することが可能になった。従来の分散訓練の常識を覆す革新的アプローチ。