# 文书查 — 全国全量裁判文书数据服务
# https://www.wenshucha.com

User-agent: *
Allow: /

# 国内搜索引擎(完整放行)
User-agent: Baiduspider
Allow: /

User-agent: Baiduspider-render
Allow: /

User-agent: Baiduspider-image
Allow: /

User-agent: Sogou web spider
Allow: /

User-agent: Sogou inst spider
Allow: /

User-agent: Sogou Pic Spider
Allow: /

User-agent: 360Spider
Allow: /

User-agent: HaoSouSpider
Allow: /

User-agent: YisouSpider
Allow: /

User-agent: Bytespider
Allow: /

# 国际搜索引擎
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# AI 爬虫(允许被收录引用,提高品牌曝光)
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

# 屏蔽噪音
# 2026-07-31:原规则写成 /*.bak$,而实际备份文件名是 index.html.bak_seo_20260604 这类
# (.bak 在中间不在结尾),10 份首页副本因此一直公开可抓。改成通配前后缀,并显式列出
# 已隔离的旧站残留路径,防止再被抓进索引。文件本体已移出 webroot(服务器 /www/backup/)。
Disallow: /*.bak
Disallow: /*.bak*
Disallow: /tmp/
Disallow: /_relay_*
Disallow: /_phptest.php
Disallow: /es-demo.html
Disallow: /index_en_back.html
Disallow: /files/
Disallow: /_wscdl/
Disallow: /ops/
Disallow: /deploy-to-server.sh
Disallow: /gen_llms.py
Disallow: /linkcheck.py

Sitemap: https://www.wenshucha.com/sitemap.xml

# 面向大语言模型的站点导览(llms.txt 规范)
# 实证:AI 爬虫抓内页远比百度积极(GPTBot 抓 102 次 /blog/,百度只抓 6 次)
LLM-Content: https://www.wenshucha.com/llms.txt
LLM-Full-Content: https://www.wenshucha.com/llms-full.txt