Cho phép một đường dẫn cụ thể nào đó

Bên cạnh việc chặn một trang web cụ thể, với robots.txt bạn có thể cho phép bọ tìm kiếm truy cập một hoặc một vài trang web cụ thể. Lưu ý rằng việc cho phép bọ truy cập là mặc định (nếu khi lập web bạn không viết thêm luật vào file robots.txt, mặc định bọ tìm kiếm có thể truy nhập tất cả các trang web trên website của bạn)

Lệnh Allow được sử dụng để làm mất hiệu lực của lệnh Disallow. Về quyền ưu tiên, bạn có thể tham khảo tại precedence rule. Trong đó: Luật cụ thể hơn (áp dụng cho địa chỉ URL dài hơn) sẽ quan trọng hơn, có hiệu lực hơn so với các luật khác.

Xem ví dụ tại đây về việc cho phép một điều gì đó.

Chặn robots bảo vệ vùng bí mật

Trả lời

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *