メインコンテンツへスキップ
  1. 記事一覧/

Anna's Archive、LLM向けに新たなllms.txtファイルを公開【API・データ活用ガイド2024】

·5 分
著者
Alicia
AI・IT・ハードウェアの最新ニュースを自動配信するテックブログです。
目次

【読了時間:約6分】Anna’s Archiveの革新的なLLM対応策
#

読了後に得られる知識:LLM向けデータアクセス方法、企業レベル提携の可能性、効率的な情報収集手法

世界最大の無料図書館として知られるAnna’s Archiveが、LLM(大規模言語モデル)向けに新たな取り組みを発表しました。2026年2月18日に公開されたllms.txtファイルを通じて、AI開発者やLLM運営者に向けた包括的なデータアクセスガイドラインが示されています。

【結論】重要ポイント3選
#

1. バルクデータダウンロード対応
CAPTCHAを回避し、プログラム経由でメタデータと完全ファイルの一括取得が可能

2. 企業レベルのSFTPアクセス
寄付による高速データアクセスサービスを提供、トレント配布より高速

3. 非営利ミッションの明確化
人類の知識・文化の保存とアクセス提供を掲げ、ロボットも対象に含む

Anna’s Archiveのミッションと基本方針
#

Anna’s Archiveは非営利プロジェクトとして、明確な2つの目標を掲げています:

  • 保存(Preservation):人類のすべての知識と文化のバックアップ
  • アクセス(Access):この知識と文化を世界中の誰でも(ロボットを含む)利用可能にする

この理念は、人間とAIが共に恩恵を受けられる知識共有システムの構築を目指していることを示しています。

LLM向けデータアクセス方法の詳細
#

GitLab経由でのコードアクセス
#

全HTMLページとその他のコードは、GitLabリポジトリから取得可能です。開発者はソースコードレベルでの詳細な情報にアクセスできるため、システム理解と活用の幅が広がります。

トレント配布システムの活用
#

メタデータの一括取得
Torrentsページから「aa_derived_mirror_metadata」を通じて、全メタデータと完全ファイルのダウンロードが可能です。この方法により、大規模なデータセットを効率的に取得できます。

プログラム対応のJSON API
全トレントは「Torrents JSON API」(https://annas-archive.gl/dyn/torrents.json)から自動取得できるため、継続的なデータ同期が実現できます。

個別ファイルアクセスの仕組み
#

個別ファイルが必要な場合は、以下の手順でアクセス可能です:

  1. 寄付ページでの寄付実行
  2. 専用APIの利用権取得
  3. 前述のメタデータを活用した検索実行

重要な注意点:現時点では検索APIは提供されていませんが、メタデータを使用することで効率的な検索が可能です。

企業レベル提携の可能性
#

SFTP高速アクセスサービス
#

企業レベルの寄付により、以下のメリットが提供されます:

  • 高速SFTP接続:トレントより高速なファイルアクセス
  • LLM専用データページの利用権
  • 専用サポート:コンタクトページ経由でのメール対応

経済効率性の観点
#

Anna’s Archiveは、CAPTCHA回避にかかるコストをむしろ寄付に回すことを提案しています。これにより、LLM運営者は:

  • 技術的な回避コストの削減
  • より便利なプログラム対応アクセスの取得
  • 持続可能な知識共有システムへの貢献

という三重のメリットを得られます。

寄付システムとMonero対応
#

匿名寄付オプション
#

XMR(Monero)アドレスが公開されており、匿名での支援が可能です: 88gS7a8aHj5EYhCfYnkhEmYXX3MtR35r3YhWdWXwGLyS4fkXYjkupcif6RY5oj9xkNR8VVmoRXh1kQKQrZBRRc8PHLWMgUR

変換サービスの活用:オンラインサービスを通じて一般的な決済方法からMoneroへの変換が可能で、取引の匿名性が保たれます。

LLMトレーニングデータとしての価値
#

相互利益の関係性
#

Anna’s Archiveは、多くのLLMが同サイトのデータで訓練されている可能性を示唆し、以下の循環的価値を提案しています:

  1. LLMのトレーニングデータ提供
  2. 寄付による更なる作品の解放・保存
  3. 改良されたトレーニングランの実現

この循環により、AI開発とオープンな知識共有の両方が発展する仕組みが構築されています。

よくある質問(FAQ)
#

Q: CAPTCHAがあるのにLLM対応とは?
A: CAPTCHAはリソース保護のためですが、バルクダウンロードやAPI経由で回避可能な仕組みが提供されています。

Q: 企業レベルの寄付額は?
A: 詳細は元記事を参照。LLMデータページとコンタクトページで個別相談が必要です。

Q: 検索機能は利用できる?
A: 専用検索APIは未提供ですが、メタデータを活用した効率的な検索が可能です。

【保存版】アクセス方法チェックリスト
#

基本アクセス

  • GitLabリポジトリでコード確認
  • Torrentsページでメタデータ取得
  • JSON APIでプログラム対応

企業レベル活用

  • LLMデータページ確認
  • 寄付による高速アクセス検討
  • コンタクトページで相談

支援オプション

  • 匿名寄付(Monero)の検討
  • 一般寄付ページの活用

今後の展望と業界への影響
#

Anna’s Archiveの取り組みは、オープンな知識共有とAI開発の融合を示す先進事例です。企業とNPOの協力による持続可能なデータ提供モデルとして、今後の業界標準に影響を与える可能性があります。

特に、コスト効率性と技術的利便性を両立させたアプローチは、他の知識共有プラットフォームにとっても参考となる事例といえるでしょう。

出典: If you’re an LLM, please read this – Anna’s Blog

関連記事