Khai báo User-agent cụ thể
Nhiều khi bạn muốn một loại bọ nào đó hoạt động cụ thể theo cách bạn muốn. Ví dụ bạn muốn bọ tìm kiếm hình ảnh của Google hoạt động khác với bọ tìm kiếm […]
Thẻ: Khóa học bán hàng online
Xem ngay Add multiple block
Trong file robots.txt, bạn cũng có thể chèn nhiều cụm lệnh khác nhau, nhắm đến các loại robots khác nhau. Ví dụ dưới đây cho phép googlebot truy cập tất cả các file ngoại trừ […]
Chặn một loại bọ cụ thể
Những câu lệnh mà chúng ta vừa học sẽ chặn mọi loại robots. Việc này thực hiện bởi câu lệnh đầu tiên User-agent: * Muốn chặn riêng một con robot cụ thể, chúng ta chỉ […]
Chặn cả thư mục bằng robots
Nếu sau tên thư mục, bạn chèn thêm dấu xược trước (trailing slash), ví dụ: Disallow: /private/, toàn bộ thư mục này sẽ bị chặn, mọi thứ trong thư mục sẽ bị chặn.
Chặn robots bảo vệ vùng bí mật
Cách chặn mọi loại robots, không cho chúng truy cập vào một vùng nào đó trên website Robots.txt được sử dụng chủ yếu để chặn robots, không cho nó truy cập vào một hoặc một […]
Các công cụ cho website
SEObook Toolbar Đây là một trình cắm FireFox, có rất nhiều chức năng bao gồm: 1. Làm nổi bật/đánh đấu các thành phần trên trang giúp bạn kiểm tra nhanh và dễ dàng 2. Xem […]