Chỉ ra vị trí sitemap XML

Ở dòng cuối cùng của bất kỳ file robots.txt nào, bạn nên thêm vào vị trí của bản đồ site (sitemap XML). Việc này mang lại rất nhiều cái lợi. Để chỉ ra đây là […]

Chặn robots bảo vệ vùng bí mật

Cách chặn mọi loại robots, không cho chúng truy cập vào một vùng nào đó trên website Robots.txt được sử dụng chủ yếu để chặn robots, không cho nó truy cập vào một hoặc một […]