Khai báo User-agent cụ thể
Nhiều khi bạn muốn một loại bọ nào đó hoạt động cụ thể theo cách bạn muốn. Ví dụ bạn muốn bọ tìm kiếm hình ảnh của Google hoạt động khác với bọ tìm kiếm […]
Thẻ: Digital Marketing
Xem ngay Add multiple block
Trong file robots.txt, bạn cũng có thể chèn nhiều cụm lệnh khác nhau, nhắm đến các loại robots khác nhau. Ví dụ dưới đây cho phép googlebot truy cập tất cả các file ngoại trừ […]
Chặn một loại bọ cụ thể
Những câu lệnh mà chúng ta vừa học sẽ chặn mọi loại robots. Việc này thực hiện bởi câu lệnh đầu tiên User-agent: * Muốn chặn riêng một con robot cụ thể, chúng ta chỉ […]
Robots.txt vừa chặn vừa cho phép
Robots.txt vừa chặn vừa cho phép truy cập vào một vị trí nào đó trong website. Đây cũng là chức năng giúp website bảo mật tốt hơn. Chặn thư mục /secret/, nhưng cho phép truy […]
Cho phép một đường dẫn cụ thể nào đó
Bên cạnh việc chặn một trang web cụ thể, với robots.txt bạn có thể cho phép bọ tìm kiếm truy cập một hoặc một vài trang web cụ thể. Lưu ý rằng việc cho phép […]
Chặn cả thư mục bằng robots
Nếu sau tên thư mục, bạn chèn thêm dấu xược trước (trailing slash), ví dụ: Disallow: /private/, toàn bộ thư mục này sẽ bị chặn, mọi thứ trong thư mục sẽ bị chặn.