Ký tự đại diện bị lờ đi, do vậy Disallow: /private* sẽ hoàn toàn giống với Disallow: /private. Tuynnhiên, ký tự đại diện sẽ hữu ích khi bạn muốn theo tác cùng lúc với nhiều file có tên tương tự nhau.
Dấu (*) sẽ thay thế cho việc không có ký tự nào, hoặc bất kỳ ký tự nào được phép (bao gồm /, ?…)
Ví dụ, với lệnh Disallow: news*.html, tất cả những file sau sẽ bị chặn
news.html
news1.html
news1234.html
newsy.html
news1234.html?id=1
Nhưng những file sau sẽ không bị chặn:
newshtml (vì thiếu một dấu chấm)
News.html (Chữ N viết hoa)
/directory/news.html(có thêm /directory/)
Ví dụ về chỉnh sửa mẫu sau đây để chỉ chặn những trang có đuôi .html trong thư mục blog thay vì chặn toàn bộ thư mục blog.
User-agent: *
Disallow: /blog/
Cách làm:
User-agent: *
Disallow: /blog/*.html