AI抓取

• 

  llms.txt 与 AI 抓取：你的站被 SearchGPT 读到了什么

  llms.txt是给AI爬虫看的”站点说明书”，类似robots但面向大模型。AI搜索崛起，主动告诉模型”哪些…

  2025年11月8日

  标签：AI抓取、抓取与索引

• 

  Google-Extended 与 AI 爬虫管理：拒绝还是放行

  Google-Extended是谷歌用来为AI功能（如AIOverviews、Gemini）抓取内容做训练与生…

  2025年9月22日

  标签：AI抓取、AI搜索