中国テック大手ByteDanceが超大規模AIモデルの訓練に着手#
TikTokの親会社であるByteDanceが、最大10兆パラメータという超大規模AIモデルの事前学習（プリトレーニング）を進めていることが、事情に詳しい複数の関係者の証言により明らかになった。この規模は、中国でこれまでに公開された最大のモデルであるMoonshot社のKimi K3の3倍に相当するとされ、中国勢が米国トップAIラボとの差を急速に縮めていることを示す動きとして注目されている。
モデルの規模と現在の開発状況#
関係者によると、このモデルは現在「事前学習（プリトレーニング）」の段階にあり、このフェーズは一般的に3〜6か月を要する。その後、ファインチューニング（特定用途向けの追加学習）を経て、問題がなければ公開される見通しだ。なお、最終的なモデルサイズはより後の段階で確定するとされている。
比較対象として、Anthropicのモデルが参照されている。Anthropicは自社モデルのサイズを公開していないが、業界の推計によると、同社の最先端モデル「Mythos 5」は約8兆パラメータ、「Fable 5」は約5兆パラメータとされている。ByteDanceが目指す最大10兆パラメータという規模は、これらを上回る可能性がある。
パラメータとは？
パラメータとはAIモデルが学習によって獲得する内部的な変数の総数であり、モデルが情報を保持できる容量や表現力の基本的な上限を決める指標のひとつ。ただし、実際の性能はデータの品質や学習手法など他の要因にも左右されることをソース記事は明記している。
ByteDanceのAI戦略：独自開発へのこだわり#
ByteDanceのモデル開発において特筆すべきは、他ラボの既存モデルを圧縮・転用する「モデル蒸留（ディスティレーション）」の手法を採用していない点だ。
モデル蒸留とは？
大規模で複雑なAIモデル（教師モデル）の知識や出力を、小規模で高速なモデルに学習させることで転移させる技術のこと。多くの中国ラボが採用している手法とされている。
ByteDanceはこのアプローチを1年以上にわたって取らない方針を維持しており、一部の業界関係者はこれが競合他社と比較して開発ペースが遅い一因になっていると見ている。しかし、創業者のZhang Yiming氏はこの独自開発路線を堅持している。同氏は数週間前に開催した社内会議でSeedチームに対し、短期的に遅れを取ることを過度に心配せず、長期的に「世界トップレベルのモデル性能」を目指すよう訴えたとされる。
モデル開発チーム「Seed」は、元Google DeepMindの科学者であるWu Yonghui氏が率いており、中国国内外に約2,000人のメンバーを擁する。チームにはコア研究者、インフラエンジニア、データラベリング担当、翻訳者が含まれているという。
なぜこのニュースが重要なのか#
いくつかの観点からこのニュースの重要性を整理できる。
① 中国勢の技術水準が急上昇中
ここ数週間だけを見ても、MoonshotやAlibabaのモデルが各種ベンチマークで高い性能を示しており、一部の評価ではAnthropicのFable 5に次ぐ水準に達しているという。複数の中国ラボがFable 5相当規模のモデルを訓練中とされており、ByteDanceはその中でも最も大規模なモデルに挑んでいる。
② ByteDanceのAIへの積極投資
ByteDanceは過去3年間、中国の大手テクノロジー企業の中で最も積極的にAIへの投資を続けてきた。データセンター網の拡充、研究者の採用、企業向けAIソリューションを提供するクラウド部門「Volcano Engine」の強化に加え、独自のAIチップ開発も視野に入れている。
③ コンシューマー向けでも存在感
ByteDanceの消費者向けAIアシスタント「Doubao」は中国で月間アクティブユーザー3億2,400万人を抱える最大のAIサービスに成長している。動画生成モデル「SeeDance」もグローバルレベルで最先端の評価を受けているという。
④ Anthropicの最先端モデルには制限も
Anthropicの最上位モデルMythos 5は、6月のセキュリティ上の懸念を理由とした一時禁止を経て、現在は承認された組織にのみ提供が限定されている点も注目される。
まとめ#
ByteDanceによる最大10兆パラメータモデルの訓練は、中国テック企業が米国トップAIラボを単に「追いかける」フェーズを超え、「追い越す」ことを明確に目標に掲げた動きとして受け止められる。独自開発にこだわる方針、創業者Zhang氏による長期目線の号令、そして膨大な人的・技術的リソースの集中投下——これらがどのような成果をもたらすか、業界の注目が集まる。
筆者の見解: 独自開発路線は短期的な競争においては不利に働く面もあると記事は示唆しているが、長期的な技術的自立という観点では合理的な選択とも言える。ただし、その判断の是非は実際のモデル公開後の性能評価を待つ必要があるだろう。
なお、ByteDanceはArs Technicaのコメント依頼に回答していないとのことで、公式な見解については詳細は元記事を参照されたい。
出典: ByteDance trains massive AI model in bid to rival Anthropic
