LLMs.txtとは？サイト運営者は抑えておきたいトピックを解説
[読了目安: 3分]
NO AI(人間が書きました✍️)
AI系ポッドキャスト(耳で学ぶAI)運営の矢野哲平(@robothink_jp)です。この記事ではLLMs.txtについて解説します。
突然ですけどサイト運営者の方はrobots.txtやsitemap.xmlというものをご存知だと思います。
LLMs.txtはこれに似たようなAI時代の一つのトピックになります。
この記事はサイト運営者の方が対象となりますがサイト制作に関わるPMや開発者も頭の片隅に入れておくと良いトピックだと思います。
LLMs.txtとは？
簡単に言うとrobots.txtの生成AIバージョンのようなものです。
robots.txtやsitemap.xmlは検索エンジン向けに作るファイルですよね？
LLMs.txtは検索エンジン向けではなく生成AI向けのファイルと言えば分かりやすいでしょうか。
具体的にはmarkdown形式でサイト情報を効率よく生成AIに伝える手段として利用します。
note.com/robots.txtのようにnote.com/llms.txtのように設置します。
Claudeを開発するAnthropicも公式サイトですでにLLMs.txtを設置しています。
https://docs.anthropic.com/llms.txt
ソフトウェアのドキュメントを提供するMintlifyも標準でLLMs.txtの提供を開始しています。
このように一部の企業ではありますが、今後LLMs.txtの設置例が増えてくる可能性はあります。
そういった背景もありサイト運営者は頭の片隅に入れておきたいトピックと説明したわけです。
LLMs.txtが登場した背景
robots.txtやsitemap.xmlでは効率的にサイト情報を生成AIに渡せないからです。
冒頭で触れたようにrobots.txtやsitemap.xmlは検索エンジンのクローラー向けに情報を提供するファイルです。サイトコンテンツを効率的に伝えたりクローラーの巡回を明示的に制御したり、ですね。
生成AIがサイト全体を把握する場合、これらのファイル(robots.txtやsitemap.xml)はベストな選択肢と言えません。
なぜなら生成AIはhtmlのソースコードを読むことは出来ますが、それが決して効率的な手段ではないからです。
生成AIに分かりやすいようにサイト情報を渡すにはどうする？というスタートから出てきたのがLLMs.txtという概念です。
htmlコードではなくmarkdown形式で効率よくサイト情報を伝えることができます。
LLMs.txtは手動で情報を渡す
robots.txtやsitemap.xmlは設置すればクローラーが自動的に巡回してくれます。
一方、LLMs.txtは(現時点では)自動的に巡回してくれません。
なので必要に応じてユーザーが手動でLLMs.txtが設置されたURLを渡します。
LLMs.txtの書き方
LLMs.txtの書き方に関しては以下のサイトを参考にするのが良いと思います。
llms.txtとllms-full.txtの二つがあるようです。
Claudeの公式サイトに設置してあるLLMs.txtを一部抜粋します。
# Anthropic
## Docs
- [Eine Nachrichtenbatch abbrechen (beta)](https://docs.anthropic.com/de/api/canceling-message-batches): Batches may be canceled any time before processing ends. Once cancellation is initiated, the batch enters a `canceling` state, at which time the system may complete any in-progress, non-interruptible requests before finalizing cancellation.
The number of canceled requests is specified in `request_counts`. To determine which requests were canceled, check the individual results within the batch. Note that cancellation may not result in any canceled requests if they were non-interruptible.
- [Amazon Bedrock API](https://docs.anthropic.com/de/api/claude-on-amazon-bedrock): Anthropics Claude-Modelle sind jetzt ﾃｼber Amazon Bedrock allgemein verfﾃｼgbar.
- [Vertex AI API](https://docs.anthropic.com/de/api/claude-on-vertex-ai): Anthropics Claude-Modelle sind jetzt ﾃｼber [Vertex AI](https://cloud.google.com/vertex-ai) allgemein verfﾃｼgbar.
- [Client SDKs](https://docs.anthropic.com/de/api/client-sdks): Wir stellen Bibliotheken in Python und TypeScript zur Verfﾃｼgung, die die Arbeit mit der Anthropic API erleichtern.
- [Create a Text Completion](https://docs.anthropic.com/de/api/complete): [Legacy] Create a Text Completion.
The Text Completions API is a legacy API. We recommend using the [Messages API](https://docs.anthropic.com/en/api/messages) going forward.URL渡すだけでサイトをクローラーが巡回しLLMs.txtを自動生成するサービスとか登場しそうですね。
サイト運営者の方は「海外でなんだかLLMs.txtという概念が登場したぞ」ということを頭の片隅に入れておいて損はないと思います✌️
【note読者限定】生成AIのおすすめツールの資料を配布中
生成AIツールは何を使えばいいか分からない
もっと業務効率化に貢献するツールを知りたい
ChatGPT以外のAIツールを知りたい
こういった声に応えておすすめの生成AIツールを解説する資料を制作しました。もっとAIの情報をキャッチアップしたい人はぜひご覧ください。
noteでも月に20本ほどAI関連の記事を投稿しています。フォローよろしくお願いします😼