Kết hợp các tác nhân người dùng trong robot.txt

Các tác nhân người dùng có thể được liệt kê cùng nhau, theo sau là các quy tắc chung của họ như vậy trong tệp robots.txt không?

User-agent: Googlebot
User-agent: ia_archiver #Alexa
User-agent: BingPreview #Microsoft
User-agent: bingbot #Microsoft
User-agent: MSNBot #Microsoft
User-agent: Slurp #Yahoo
User-agent: Ask Jeeves/Teoma #Ask
Disallow: /adm30_buds/

web-crawlers robots.txt user-agent

— davidcondrey
nguồn

Có một lý do tại sao bạn không sử dụng user-agent: *theo sau bởi không được phép? Danh sách các tác nhân người dùng "được phép" có dài hơn danh sách mà bạn muốn không cho phép không?

— Mike Hudson

Xem thêm trên SO: Có thể liệt kê nhiều tác nhân người dùng trong một dòng không?

— unor

Đúng. Giả sử rằng tên đại lý của bạn được chỉ định chính xác, có vẻ như điều này sẽ hoạt động. Đây là một tài nguyên nếu bạn muốn đọc thêm. https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

— tủ quần áo
nguồn

Thông số robot.txt ban đầu đồng ý: "Nếu có nhiều hơn một trường Tác nhân người dùng thì bản ghi mô tả chính sách truy cập giống hệt nhau cho nhiều hơn một robot."

— Ilmari Karonen