1 Chúng tôi có thể sử dụng regex trong tệp robot.txt để chặn URL không? Tôi có một vài URL được tạo động. Tôi có thể sử dụng regex để chặn các URL này trong tệp robot.txt không? 23 robots.txt regular-expression