Robots.txt vừa chặn vừa cho phép truy cập vào một vị trí nào đó trong website. Đây cũng là chức năng giúp website bảo mật tốt hơn.
Chặn thư mục /secret/, nhưng cho phép truy cập 1 file trong thư mục này /secret/not-secret.html/
User-agent: *
Disallow: /secret/
Sau đây là câu lệnh trong file robots.txt vừa chặn vừa cho phép
User-agent: *
Disallow: /secret/
Allow: /secret/not-secret.html/