Chỉ ra vị trí sitemap XML

Ở dòng cuối cùng của bất kỳ file robots.txt nào, bạn nên thêm vào vị trí của bản đồ site (sitemap XML). Việc này mang lại rất nhiều cái lợi. Để chỉ ra đây là […]

Chặn định dạng của file robots.txt

Như chúng ta đã học về chặn thư mục trong bài trước (Disallow: /private/ sẽ chặn toàn bộ thư mục private, bao gồm tất cả các file nằm trong thư mục này). Tương tự vậy, […]

Chặn tham số trong robots.txt

Ký tự đại diện cũng thường được sử dụng để chặn một tham số nào đó. Một cách để làm điều này là cấu hình cho hệ thống của bạn tự động thêm vào địa […]

Cơ bản về ký tự đại diện robots.txt

Ký tự đại diện bị lờ đi, do vậy Disallow: /private* sẽ hoàn toàn giống với Disallow: /private. Tuynnhiên, ký tự đại diện sẽ hữu ích khi bạn muốn theo tác cùng lúc với nhiều […]