Cơ bản về ký tự đại diện robots.txt

Ký tự đại diện bị lờ đi, do vậy Disallow: /private* sẽ hoàn toàn giống với Disallow: /private. Tuynnhiên, ký tự đại diện sẽ hữu ích khi bạn muốn theo tác cùng lúc với nhiều file có tên tương tự nhau.

Dấu (*) sẽ thay thế cho việc không có ký tự nào, hoặc bất kỳ ký tự nào được phép (bao gồm /, ?…)

Ví dụ, với lệnh Disallow: news*.html, tất cả những file sau sẽ bị chặn

 news.html

 news1.html

 news1234.html

 newsy.html

 news1234.html?id=1

Nhưng những file sau sẽ không bị chặn:

 newshtml (vì thiếu một dấu chấm)

 News.html (Chữ N viết hoa)

 /directory/news.html(có thêm /directory/)

Ví dụ về chỉnh sửa mẫu sau đây để chỉ chặn những trang có đuôi .html trong thư mục blog thay vì chặn toàn bộ thư mục blog.

User-agent: *

Disallow: /blog/

Cách làm: 

User-agent: *

Disallow: /blog/*.html

Trả lời

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *