Chỉ ra vị trí sitemap XML

Ở dòng cuối cùng của bất kỳ file robots.txt nào, bạn nên thêm vào vị trí của bản đồ site (sitemap XML). Việc này mang lại rất nhiều cái lợi. Để chỉ ra đây là […]

Cơ bản về ký tự đại diện robots.txt

Ký tự đại diện bị lờ đi, do vậy Disallow: /private* sẽ hoàn toàn giống với Disallow: /private. Tuynnhiên, ký tự đại diện sẽ hữu ích khi bạn muốn theo tác cùng lúc với nhiều […]

Robots.txt vừa chặn vừa cho phép

Robots.txt vừa chặn vừa cho phép truy cập vào một vị trí nào đó trong website. Đây cũng là chức năng giúp website bảo mật tốt hơn. Chặn thư mục /secret/, nhưng cho phép truy […]

Cho phép một đường dẫn cụ thể nào đó

Bên cạnh việc chặn một trang web cụ thể, với robots.txt bạn có thể cho phép bọ tìm kiếm truy cập một hoặc một vài trang web cụ thể. Lưu ý rằng việc cho phép […]

Chặn robots bảo vệ vùng bí mật

Cách chặn mọi loại robots, không cho chúng truy cập vào một vùng nào đó trên website Robots.txt được sử dụng chủ yếu để chặn robots, không cho nó truy cập vào một hoặc một […]

Các công cụ cho website

SEObook Toolbar Đây là một trình cắm FireFox, có rất nhiều chức năng bao gồm: 1. Làm nổi bật/đánh đấu các thành phần trên trang giúp bạn kiểm tra nhanh và dễ dàng 2. Xem […]