Nhiều khi bạn muốn một loại bọ nào đó hoạt động cụ thể theo cách bạn muốn. Ví dụ bạn muốn bọ tìm kiếm hình ảnh của Google hoạt động khác với bọ tìm kiếm chính của Google.
+ Bạn có thể làm điều này trong robots.txt, các con bọ tìm kiếm sẽ tìm xem có câu lệnh cụ thể nào dành cho chúng không. Ví dụ, nếu có 2 nhóm câu lệnh, một dành cho googlebot nói chung và một chỉ dành riêng cho google-bot hình ảnh, khi đó con bọ tìm kiếm hình ảnh của google sẽ tuân theo nhóm câu lệnh thứ 2.
+ Nếu không có nhóm câu lệnh nào dành riêng cho bọ tìm kiếm hình ảnh, chúng sẽ tuân theo những lệnh của googlebot nói chung, tức là nhóm câu lệnh thứ nhất. Để biết thêm về các loại bọ tìm kiếm của Google, hãy tham khảo tại other specialist googlebots
Chú ý rằng, một con bọ tìm kiếm sẽ chỉ tuần theo một nhóm câu lênh. Như ví dụ trên, bọ tìm kiếm hình ảnh khi tuân theo nhóm câu lệnh thứ 2, thì sẽ bỏ qua nhóm thứ nhất.
Viết câu lệnh ngăn chặn googlebot-images truy cập vào thư mục /secret/
User-agent: googlebot
Disallow: /secret/
Chỉnh sửa câu lệnh trên để chặn googlebot-images truy cập vào cả 2 thư mục /secret/ hoặc /copyright/
Cách làm tổng hợp trong robots.txt để tối ưu website với google.
User-agent: googlebot
Disallow: /secret/
User-agent: googlebot-images
Disalow: /copyright/
Disallow: /secret/