Chỉ ra vị trí sitemap XML
Ở dòng cuối cùng của bất kỳ file robots.txt nào, bạn nên thêm vào vị trí của bản đồ site (sitemap XML). Việc này mang lại rất nhiều cái lợi. Để chỉ ra đây là […]
Thẻ: Code cơ bản
Chặn cả thư mục bằng robots
Nếu sau tên thư mục, bạn chèn thêm dấu xược trước (trailing slash), ví dụ: Disallow: /private/, toàn bộ thư mục này sẽ bị chặn, mọi thứ trong thư mục sẽ bị chặn.
Chặn robots bảo vệ vùng bí mật
Cách chặn mọi loại robots, không cho chúng truy cập vào một vùng nào đó trên website Robots.txt được sử dụng chủ yếu để chặn robots, không cho nó truy cập vào một hoặc một […]