Theo như tôi biết, không có bot hay ứng dụng nào yêu cầu sitemap.xml mà không được thông báo nó sẽ ở đó. Hầu hết các trang web có thể không có nó, và trong số các trang web đó, nhiều trang sử dụng gzip và nhiều người gọi tệp này một cái gì đó khác hoặc đặt sơ đồ trang web vào thư mục con.
Đây là tất cả những cái tôi biết:
- favicon.ico
Cung cấp cho các trang của bạn một biểu tượng trong các tab, dấu trang, v.v.
- robot.txt
Hữu ích nếu bạn cần chặn bất kỳ trang nào khỏi các công cụ tìm kiếm, nhưng có thể để trống để cho phép truy cập vào mọi thứ. Nó cũng có thể chứa vị trí cho sơ đồ trang web của bạn.
- Tệp xác minh công cụ quản trị trang web
Phương pháp xác minh đơn giản nhất (lưu các thẻ meta vô dụng trong mã HTML của bạn). Có google[hash].html
và BingSiteAuth.xml
. Tôi cũng có một cái cho Yahoo trong root của mình nhưng điều đó có lẽ không còn cần thiết nữa.
- crossdomain.xml
Tệp này được Adobe Flash yêu cầu bất cứ khi nào Flash cần kết nối với trang web của bạn. Bạn có thể sẽ không bao giờ thấy tệp này trong nhật ký của mình trên một trang web nhỏ, nhưng tôi đã có một loạt các yêu cầu cho nó trên một trang web. Bạn chỉ có thể tạo một tệp trống vì mặc định là chặn truy cập vào các trang web bên ngoài.
- .htaccess (Apache)
Rõ ràng không được yêu cầu bởi trình duyệt / bot nhưng quan trọng đối với hầu hết các trang web.
Cuối cùng, liên quan đến các biểu tượng mà iPhone khăng khăng yêu cầu: có một số kích thước có thể được yêu cầu. IPhone 3G của tôi (iOS 5) yêu cầu phiên bản 57x57 và tôi thấy 72x72 và 114x114 (phổ biến nhất) trong nhật ký lỗi của tôi. Vì vậy, nếu bạn muốn loại bỏ tất cả 404 khỏi nhật ký của mình, thật khó hiểu bạn sẽ cần phải cung cấp tất cả những điều sau:
/apple-touch-icon-57x57-precomposed.png
/apple-touch-icon-57x57.png
/apple-touch-icon-72x72-precomposed.png
/apple-touch-icon-72x72.png
/apple-touch-icon-114x114-precomposed.png
/apple-touch-icon-114x114.png
/apple-touch-icon-precomposed.png
/apple-touch-icon.png