# robots.txt for {当前主域名}
# 最后更新: {当前日期}

User-agent: *
Allow: /

# 禁止访问目录
Disallow: /admin/
Disallow: /private/

# 允许所有搜索引擎爬虫
User-agent: Baiduspider
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: Sogou
Allow: /

User-agent: 360Spider
Allow: /
# 允许抓取核心SEO页面
Allow: /
Allow: /article-*.html
Allow: /category-*.html


# 网站地图位置
Sitemap: {当前根地址}sitemap.xml

# 爬取延迟（可选，单位为秒）
# Crawl-delay: 1