Trong file robots.txt, bạn cũng có thể chèn nhiều cụm lệnh khác nhau, nhắm đến các loại robots khác nhau. Ví dụ dưới đây cho phép googlebot truy cập tất cả các file ngoại trừ thư mục /secret/ và cho phép tất cả các robots khác truy cập toàn bộ site.
Lưu ý rằng vì đã có những câu lệnh dành riêng cho googlebot, Google sẽ chỉ chú ý đến những câu lệnh này mà lờ đi hoàn toàn các câu lệnh khác.
User-agent: googlebot
Disallow: /secret/
Thêm lệnh để chặn toàn bộ các loại bọ tìm kiếm, không cho chúng truy cập bất kỳ trang web nào trên website. Việc này sẽ chặn tất cả các robot truy cập vào website, trong khi vẫn cho phép googlebot truy cập tất cả các trang ngoại trừ /secret/
User-agent: *
Disallow: /
User-agent: googlebot
Disallow: /secret/