Bên cạnh việc chặn một trang web cụ thể, với robots.txt bạn có thể cho phép bọ tìm kiếm truy cập một hoặc một vài trang web cụ thể. Lưu ý rằng việc cho phép bọ truy cập là mặc định (nếu khi lập web bạn không viết thêm luật vào file robots.txt, mặc định bọ tìm kiếm có thể truy nhập tất cả các trang web trên website của bạn)
Lệnh Allow được sử dụng để làm mất hiệu lực của lệnh Disallow. Về quyền ưu tiên, bạn có thể tham khảo tại precedence rule. Trong đó: Luật cụ thể hơn (áp dụng cho địa chỉ URL dài hơn) sẽ quan trọng hơn, có hiệu lực hơn so với các luật khác.