Cơ bản về ký tự đại diện robots.txt
Ký tự đại diện bị lờ đi, do vậy Disallow: /private* sẽ hoàn toàn giống với Disallow: /private. Tuynnhiên, ký tự đại diện sẽ hữu ích khi bạn muốn theo tác cùng lúc với nhiều […]
Tác giả: nguyentrongtoan
Làm website wordpress, SEO, tiếp thị trực tuyến, marketing online,
Khai báo User-agent cụ thể
Nhiều khi bạn muốn một loại bọ nào đó hoạt động cụ thể theo cách bạn muốn. Ví dụ bạn muốn bọ tìm kiếm hình ảnh của Google hoạt động khác với bọ tìm kiếm […]
Xem ngay Add multiple block
Trong file robots.txt, bạn cũng có thể chèn nhiều cụm lệnh khác nhau, nhắm đến các loại robots khác nhau. Ví dụ dưới đây cho phép googlebot truy cập tất cả các file ngoại trừ […]
Chặn một loại bọ cụ thể
Những câu lệnh mà chúng ta vừa học sẽ chặn mọi loại robots. Việc này thực hiện bởi câu lệnh đầu tiên User-agent: * Muốn chặn riêng một con robot cụ thể, chúng ta chỉ […]
Robots.txt vừa chặn vừa cho phép
Robots.txt vừa chặn vừa cho phép truy cập vào một vị trí nào đó trong website. Đây cũng là chức năng giúp website bảo mật tốt hơn. Chặn thư mục /secret/, nhưng cho phép truy […]
Cho phép một đường dẫn cụ thể nào đó
Bên cạnh việc chặn một trang web cụ thể, với robots.txt bạn có thể cho phép bọ tìm kiếm truy cập một hoặc một vài trang web cụ thể. Lưu ý rằng việc cho phép […]