Tạo robots.txt blogspot chuẩn seo cập nhật thường xuyên

Tạo robots.txt blogspot chuẩn seo cập nhật thường xuyên

Tệp robots.txt được tạo ra nhằm thêm nội dung các quy tắc chặn các công cụ tìm kiếm thu thập và lập chỉ mục các liên kết URLs của trang web, nếu bạn không thêm tệp robots.txt mặc định sẽ cho phép các công cụ tìm kiếm thu thập. Cấu trúc của tệp robots.txt User-agent: Tên bot của công cụ tìm kiếm Disallow: Liên kết bị chặn Allow: Liên kết cho phép Sitemap: /sitemap.xml Sơ đồ trang web Ví dụ về tệp robots.txt cho Blogspot User-agent: Googlebot User-agent: Bingbot User-agent: Twitterbot User-agent: Facebot Disallow: User-agent: * Disallow: /feeds Disallow: /search Disallow: /search?* Disallow: *max-results=* Disallow: *?showComment=* Allow: /search/label/template-blogspot-ban-hang Allow: /search/label/template-blogspot-mien-phi Allow: /search/label/thiet-ke-blogspot Allow: /search/label/blogger-templates Allow: /search/label/blog User-agent: Mediapartners-Google Allow: / Sitemap: https://www.layout.vn/sitemap.xml Hướng dẫn chặn link bài viết, trang hoặc chặn tất cả - Chặn trang (page) + Ví dụ 1: chặn tất cả các tr…