# panaco.vn — robots.txt
# 2026-08-25 (M5): gộp hai khối "User-agent: *" làm một (trước đây khai hai lần, một số trình
# phân tích chỉ đọc khối đầu nên luật ở khối sau có thể bị bỏ qua) và chặn Bytespider.
# Bytespider (ByteDance/TikTok) tạo 123.083 lượt trong 10 ngày, gấp 6,4 lần Googlebot, gần như
# chỉ lấy ảnh SVG chứ không lấy HTML, và không mang lại lưu lượng tìm kiếm nào cho thị trường VN.
# CỐ Ý KHÔNG chặn ClaudeBot / GPTBot / meta-externalagent: chúng đang đọc site và là đường để
# nội dung được trích dẫn trong các công cụ AI.

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /?s=*
Disallow: /wp-content/uploads/wp-import-export-lite/

User-agent: Bytespider
Disallow: /

User-agent: AhrefsSiteAudit
Crawl-delay: 10

User-agent: AhrefsBot
Crawl-delay: 10

Sitemap: https://panaco.vn/sitemap_index.xml