Cách chặn mọi loại robots, không cho chúng truy cập vào một vùng nào đó trên website
Robots.txt được sử dụng chủ yếu để chặn robots, không cho nó truy cập vào một hoặc một vài trang cụ thể.
+ Để chặn tất cả mọi loại robot, sử dụng cú pháp: User-agent: *.
+ Dòng dưới đây sẽ chặn tất cả các loại robots không cho nó truy cập vào file secret.html
User-agent: *
Disallow: /secret.html