Chặn cả thư mục bằng robots

Nếu sau tên thư mục, bạn chèn thêm dấu xược trước (trailing slash), ví dụ: Disallow: /private/, toàn bộ thư mục này sẽ bị chặn, mọi thứ trong thư mục sẽ bị chặn.

+ Chặn robots truy cập vào một file nào đó thì ta thường dùng 2 câu lệnh dưới đây trong file robots.txt

User-agent: *

Disallow: /secret.html

+ Chỉnh sửa theo dưới đây để nó chặn truy cập toàn bộ thư mục tên secret thay vì trang secret.html

User-agent: *

Disallow: /secret/

Bạn nên xem:  Chặn robots bảo vệ vùng bí mật

Trả lời