Nếu sau tên thư mục, bạn chèn thêm dấu xược trước (trailing slash), ví dụ: Disallow: /private/, toàn bộ thư mục này sẽ bị chặn, mọi thứ trong thư mục sẽ bị chặn.
+ Chặn robots truy cập vào một file nào đó thì ta thường dùng 2 câu lệnh dưới đây trong file robots.txt
User-agent: *
Disallow: /secret.html
+ Chỉnh sửa theo dưới đây để nó chặn truy cập toàn bộ thư mục tên secret thay vì trang secret.html
User-agent: *
Disallow: /secret/
Bạn nên xem: Chặn robots bảo vệ vùng bí mật