Cách tạo tệp robots.txt cho tất cả các tên miền trên máy chủ Apache

Chúng tôi có một thiết lập máy chủ web phát triển XAMPP Apache với các máy chủ ảo và muốn ngăn chặn serps thu thập dữ liệu tất cả các trang web của chúng tôi. Điều này được thực hiện dễ dàng với tệp robot.txt. Tuy nhiên, chúng tôi không muốn bao gồm một robot.txt không được phép trong mọi vhost và sau đó phải xóa nó khi chúng tôi phát trực tiếp với trang web trên một máy chủ khác.

Có cách nào với tệp cấu hình apache để ghi lại tất cả các yêu cầu vào tệp robots.txt trên tất cả các vhost thành một tệp robot.txt không?

Nếu vậy, bạn có thể cho tôi một ví dụ? Tôi nghĩ nó sẽ giống như thế này:

RewriteEngine On
RewriteRule  .*robots\.txt$         C:\xampp\vhosts\override-robots.txt [L] 

Cảm ơn!

Apache mod_alias được thiết kế cho điều này và có sẵn từ hệ thống Apache cốt lõi và có thể được đặt ở một nơi mà hầu như không có chi phí xử lý, không giống như mod_rewrite.

Alias /robots.txt C:/xampp/vhosts/override-robots.txt

Với dòng đó trong tệp apache2.conf, bên ngoài tất cả các vhost, http://example.com/robots.txt - trên bất kỳ trang web nào nó phục vụ, sẽ xuất ra tệp đã cho.

Đặt robots.txttệp chung chung của bạn ở đâu đó trong hệ thống tệp của máy chủ có thể truy cập được vào quy trình apache. Để minh họa, tôi sẽ cho rằng nó tại /srv/robots.txt.

Sau đó, để thiết lập mod_rewriteđể phục vụ tệp đó cho các khách hàng yêu cầu, hãy đặt các quy tắc sau vào từng <VirtualHost>khối cấu hình của vhost :

RewriteEngine on
RewriteRule ^/robots.txt$ /srv/robots.txt [NC, L]

Nếu bạn đang đặt các quy tắc viết lại vào .htaccesscác tệp trên mỗi thư mục chứ không phải <VirtualHost>các khối, bạn sẽ cần sửa đổi các quy tắc một chút:

RewriteEngine on
RewriteBase /
RewriteRule ^robots.txt$ /srv/robots.txt [NC, L]

Không chắc bạn có chạy XAMPP trên Linux hay không, nhưng nếu là bạn, bạn có thể tạo một liên kết tượng trưng từ tất cả các máy chủ ảo đến cùng một tệp robot.txt, nhưng bạn cần đảm bảo rằng cấu hình Apache của bạn cho mỗi máy chủ ảo là được phép theo liên kết tượng trưng (theo <Directory>chỉ thị Options FollowSymLinks).

Cách tiếp cận khác nhau để giải quyết.

Tôi lưu trữ nhiều (hơn 300) virtualhost trong môi trường cụm của tôi. Để bảo vệ máy chủ của tôi khỏi bị thu thập dữ liệu bởi các trình thu thập thông tin, tôi xác định độ trễ Thu thập thông tin trong 10 giây.

Tuy nhiên, tôi không thể thực thi tất cả các máy khách của mình với cấu hình robot.txt cố định. Tôi cho phép khách hàng của mình sử dụng robot.txt của riêng họ nếu họ muốn làm.

Viết lại mô-đun đầu tiên kiểm tra nếu tập tin tồn tại. Nếu nó không tồn tại, các mô-đun viết lại cấu hình mặc định của tôi. Mã ví dụ dưới đây ...

Để giữ viết lại nội bộ, nên sử dụng bí danh. Thay vì xác định một bí danh mới có thể gây ra một số xung đột về phía người dùng, tôi đã đặt thư mục robot.txt của mình bên trong thư mục / APACHE / error / đã có bí danh làm cấu hình mặc định.

<Directory /HOSTING/*/*/public_html>
        Options SymLinksIfOwnerMatch
        <Files robots.txt>
                RewriteEngine On
                RewriteCond %{REQUEST_FILENAME} -f [OR]
                RewriteCond %{REQUEST_FILENAME} -d
                RewriteRule (.*) - [L]
                RewriteRule (.*) /error/robots.txt [L]
        </Files>
</Directory>