llms.txt

llms.txtの概念図

llms.txt

目次

定義

llms.txtとは、LLM(大規模言語モデル)のクローラー向けに、サイト構造や重要コンテンツを要約して伝えるための標準テキストファイルである。AOCUMにおいては、辞典や重要記事の所在をAIに優先的に通知し、クロール効率を最大化させるための「AI専用の地図」として機能する。llms.txtとllms--full.txtとがある。

Q&A

Q: なぜllms.txtが必要なのですか?
A: なぜならば、AI(LLM)がサイトの膨大なデータから「核心となる情報」を正確かつ低コストで抽出できるようにするためです。

llms.txt は、人間向けの複雑なレイアウトを排除した「AI専用の地図」として機能します。これにより、AIはサイト構造を素早く把握し、情報の見落としや誤解を防ぐことができます。

参考文献 / References

Jeremy Howard (2024-9-3) / 『The /llms.txt file』 [Link]

この記事を書いた人

「個人探究の生き方」を運営している ぼちぴ です。
どうしたら幸せになれるのか?という問いに対して「自立して個人探究をし、自分で掴みとる」という答えを得ることができました。
いまでは、「個人で探求する」ための実践法を中心に発信しています。
個人探究者、ぼちぴの経歴を詳しく見る