Chỉ ra vị trí sitemap XML
Ở dòng cuối cùng của bất kỳ file robots.txt nào, bạn nên thêm vào vị trí của bản đồ site (sitemap XML). Việc này mang lại rất nhiều cái lợi. Để chỉ ra đây là […]
Thẻ: robots.txt
Chặn định dạng của file robots.txt
Như chúng ta đã học về chặn thư mục trong bài trước (Disallow: /private/ sẽ chặn toàn bộ thư mục private, bao gồm tất cả các file nằm trong thư mục này). Tương tự vậy, […]
Chặn tham số trong robots.txt
Ký tự đại diện cũng thường được sử dụng để chặn một tham số nào đó. Một cách để làm điều này là cấu hình cho hệ thống của bạn tự động thêm vào địa […]
Cơ bản về ký tự đại diện robots.txt
Ký tự đại diện bị lờ đi, do vậy Disallow: /private* sẽ hoàn toàn giống với Disallow: /private. Tuynnhiên, ký tự đại diện sẽ hữu ích khi bạn muốn theo tác cùng lúc với nhiều […]
Khai báo User-agent cụ thể
Nhiều khi bạn muốn một loại bọ nào đó hoạt động cụ thể theo cách bạn muốn. Ví dụ bạn muốn bọ tìm kiếm hình ảnh của Google hoạt động khác với bọ tìm kiếm […]
Xem ngay Add multiple block
Trong file robots.txt, bạn cũng có thể chèn nhiều cụm lệnh khác nhau, nhắm đến các loại robots khác nhau. Ví dụ dưới đây cho phép googlebot truy cập tất cả các file ngoại trừ […]