Chặn một loại bọ cụ thể

Những câu lệnh mà chúng ta vừa học sẽ chặn mọi loại robots. Việc này thực hiện bởi câu lệnh đầu tiên User-agent: *

Muốn chặn riêng một con robot cụ thể, chúng ta chỉ việc thay dấu * bằng tên con robot đó.

Thay thế dấu * bằng googlebot để tạo ra một luật mà chỉ áp dụng với robot của Google

User-agent: *

Disallow: /secret/

Chặn một loại bọ cụ thể bằng câu lệnh dưới đây:

User-agent: googlebot

Disallow: /secret/