Chặn robots bảo vệ vùng bí mật

Cách chặn mọi loại robots, không cho chúng truy cập vào một vùng nào đó trên website

Robots.txt được sử dụng chủ yếu để chặn robots, không cho nó truy cập vào một hoặc một vài trang cụ thể.

+ Để chặn tất cả mọi loại robot, sử dụng cú pháp: User-agent: *.

+ Dòng dưới đây sẽ chặn tất cả các loại robots không cho nó truy cập vào file secret.html

User-agent: *

Disallow: /secret.html

 

Trả lời

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *