Các phiên bản gần đây nhất của Joomla không còn chặn /media/và /templates/các thư mục:
User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Không phải tất cả các tiện ích mở rộng đều tuân thủ các nguyên tắc về nơi đặt các tệp CSS và JS, v.v., vì vậy, một cách tốt là cho phép Google truy cập các tệp này bất kể chúng được tìm thấy ở đâu.
Bạn có thể đạt được điều này bằng cách chèn một vài dòng vào đầu robots.txttập tin của bạn như thế này:
#Googlebot
User-agent: Googlebot
Allow: *.css
Allow: *.js
User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
BIÊN TẬP:
Cảm ơn @ w3dk và @Stephen Ostermiller đã phản hồi! Bạn hoàn toàn đúng. Nó là tốt hơn để làm một cái gì đó như thế này:
User-agent: *
Allow: *.css
Allow: *.js
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Thật không may, điều này dường như không hoạt động như dự định vì các quy tắc dài hơn (cụ thể hơn) ghi đè lên các quy tắc ngắn hơn và các dòng cho phép bị bỏ qua. Nó dường như không tạo ra bất kỳ sự khác biệt nào cho dù các dòng cho phép theo các dòng không được phép hay ngược lại.
Cách duy nhất tôi có thể giải quyết vấn đề này là làm một cái gì đó như thế này dường như hoạt động khi tôi kiểm tra nó trong Công cụ quản trị trang web:
User-agent: *
Allow: /************************************************************.css
Allow: /************************************************************.js
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
EDIT 2 - GIẢI PHÁP TỐT NHẤT:
OK, vì vậy tôi đã nghiên cứu thêm một chút và tìm thấy câu trả lời tại https://stackoverflow.com/a/30362942/1983389
Có vẻ là giải pháp đúng đắn nhất và hỗ trợ hầu hết trên tất cả các trình thu thập web là một cái gì đó như sau (cho phép truy cập vào *.cssvà *.jstập tin trong /bin, /cache, /installation, /language, /logs, và /tmpcác thư mục và có thể một số các thư mục khác làm cho chút ý nghĩa):
User-agent: *
Allow: /administrator/*.css
Allow: /administrator/*.js
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Allow: /cli/*.css
Allow: /cli/*.js
Disallow: /cli/
Allow: /components/*.css
Allow: /components/*.js
Disallow: /components/
Allow: /includes/*.css
Allow: /includes/*.js
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Allow: /layouts/*.css
Allow: /layouts/*.js
Disallow: /layouts/
Allow: /libraries/*.css
Allow: /libraries/*.js
Disallow: /libraries/
Disallow: /logs/
Allow: /modules/*.css
Allow: /modules/*.js
Disallow: /modules/
Allow: /plugins/*.css
Allow: /plugins/*.js
Disallow: /plugins/
Disallow: /tmp/
robots.txtvì không có ai (ngay cả các công cụ tìm kiếm bây giờ mà Google đang đưa ra yêu cầu về những gì bạn không nên không cho phép) dù sao cũng sẽ đi theo nó?