Làm cách nào để tôi không cho phép toàn bộ thư mục với tệp robots.txt?

Tôi có hai trang web tôi hiện đang làm việc đó là một giỏ mua hàng và một người mua sắm khác. Cả hai đều dưới cùng một tên miền, ví dụ như vậy

http://example.com/first_url 
http://example.com/second_url 

Cả hai URL này có hàng tấn trang bên dưới chúng

http://example.com/first_url/product1
http://example.com/first_url/product2 
http://example.com/first_url/product3

http://example.com/second_url/product1
http://example.com/second_url/product2 
http://example.com/second_url/product3

Làm thế nào để không cho phép các URL chính /first_urlvà /second_urlquá và tất cả các trang con và thư mục con? Tôi đã suy nghĩ như thế này nhưng tôi không biết liệu nó có hoạt động hay không và liệu đó có phải là cú pháp đúng không

Disallow: /first_url/*/
Disallow: /second_url/*/

Bạn không cần dấu gạch chéo để chặn các thư mục đó. Điều này sẽ làm việc:

Disallow: /first_url/*
Disallow: /second_url/*

Đây trang trợ giúp của Google bao gồm này khá tốt.

Bạn có thể sử dụng điều này như mặc định của bạn robots.txt:

User-agent: *
Disallow: first_url/*
Disallow: second_url/*

Ngôi sao sẽ cho phép mọi thứ trong danh mục đó không được phép. Bạn thậm chí có thể không cho phép một điều cụ thể trong danh mục đó bằng cách nhập url cụ thể đó.