Chặn một loại bọ cụ thể
Những câu lệnh mà chúng ta vừa học sẽ chặn mọi loại robots. Việc này thực hiện bởi câu lệnh đầu tiên User-agent: * Muốn chặn riêng một con robot cụ thể, chúng ta chỉ […]
Thẻ: robots.txt
Robots.txt vừa chặn vừa cho phép
Robots.txt vừa chặn vừa cho phép truy cập vào một vị trí nào đó trong website. Đây cũng là chức năng giúp website bảo mật tốt hơn. Chặn thư mục /secret/, nhưng cho phép truy […]
Cho phép một đường dẫn cụ thể nào đó
Bên cạnh việc chặn một trang web cụ thể, với robots.txt bạn có thể cho phép bọ tìm kiếm truy cập một hoặc một vài trang web cụ thể. Lưu ý rằng việc cho phép […]
Chặn cả thư mục bằng robots
Nếu sau tên thư mục, bạn chèn thêm dấu xược trước (trailing slash), ví dụ: Disallow: /private/, toàn bộ thư mục này sẽ bị chặn, mọi thứ trong thư mục sẽ bị chặn.
Chặn robots bảo vệ vùng bí mật
Cách chặn mọi loại robots, không cho chúng truy cập vào một vùng nào đó trên website Robots.txt được sử dụng chủ yếu để chặn robots, không cho nó truy cập vào một hoặc một […]