# 公主协同效应Princess Synergy官网 Robots.txt
# 配置搜索引擎爬虫抓取规则，确保SEO最佳实践

# 允许所有搜索引擎爬虫访问主要内容
User-agent: *
Allow: /

# 禁止抓取敏感和无用目录
Disallow: /admin/
Disallow: /private/
Disallow: /test/
Disallow: /temp/
Disallow: /backup/
Disallow: /cache/
Disallow: /logs/
Disallow: /config/
Disallow: /.git/
Disallow: /node_modules/
Disallow: /vendor/

# 禁止抓取协议和隐私页面（避免收录污染）
Disallow: /privacy
Disallow: /terms
Disallow: /legal/
Disallow: /disclaimer

# 禁止抓取API接口
Disallow: /api/
Disallow: /ajax/
Disallow: /json/

# 禁止抓取动态搜索结果页面
Disallow: /*?search=*
Disallow: /*?s=*
Disallow: /*?q=*

# 允许CSS、JS、图片等静态资源
Allow: /css/
Allow: /js/
Allow: /images/
Allow: /img/
Allow: /fonts/
Allow: /*.css
Allow: /*.js
Allow: /*.webp
Allow: /*.webp
Allow: /*.webp
Allow: /*.gif
Allow: /*.webp
Allow: /*.svg
Allow: /*.ico

# 特别针对Google爬虫的优化设置
User-agent: Googlebot
Allow: /
Crawl-delay: 1

# 针对百度爬虫的优化设置
User-agent: Baiduspider
Allow: /
Crawl-delay: 2

# 针对Bing爬虫的优化设置
User-agent: Bingbot
Allow: /
Crawl-delay: 1

# 针对360搜索爬虫的优化设置
User-agent: 360Spider
Allow: /
Crawl-delay: 2

# 针对搜狗爬虫的优化设置
User-agent: Sogou web spider
Allow: /
Crawl-delay: 2

# 阻止恶意爬虫和采集工具
User-agent: SemrushBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: ia_archiver
Disallow: /

# 阻止邮箱收集爬虫
User-agent: EmailCollector
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: WebBandit
Disallow: /

# 阻止内容抓取工具
User-agent: HTTrack
Disallow: /

User-agent: Wget
Disallow: /

User-agent: curl
Disallow: /

# 主要Sitemap位置 - 支持Google、百度、Bing等主流搜索引擎
Sitemap: https://princesssynergy.xyz/sitemap.xml

# 百度特殊配置
# 支持百度移动适配和快速收录
Host: PrincessSynergy.xyz

# 针对图片优化的特殊设置
User-agent: Googlebot-Image
Allow: /images/
Allow: /img/

# 针对移动爬虫的设置
User-agent: Googlebot-Mobile
Allow: /

# 针对新闻爬虫的设置（如果有新闻内容）
User-agent: Googlebot-News
Allow: /news/
Allow: /updates/

# 社交媒体爬虫设置
User-agent: facebookexternalhit
Allow: /

User-agent: Twitterbot
Allow: /

User-agent: LinkedInBot
Allow: /

User-agent: WhatsApp
Allow: /

# 微信爬虫设置
User-agent: WeChatBot
Allow: /

# QQ爬虫设置
User-agent: Tencentbot
Allow: /

# 抖音/今日头条爬虫设置
User-agent: Bytedance
Allow: /

# 小红书爬虫设置
User-agent: XiaohongshuBot
Allow: /

# 设置爬虫访问延迟，避免服务器压力过大
# 主流搜索引擎较短延迟
# 其他爬虫较长延迟以保护服务器性能

# 最后更新时间: 2024-12-19
# 版本: v1.0
# 说明: 本robots.txt配置适用于公主协同效应Princess Synergy官网，
#       遵循SEO最佳实践，确保主要内容被正确收录，同时保护敏感信息