Câu hỏi được gắn thẻ «robots.txt»

Trong tệp robots.txt tôi có thể viết URL tương đối sau cho tệp sơ đồ trang web không? sitemap: /sitemap.ashx Hoặc tôi phải sử dụng URL hoàn chỉnh (tuyệt đối) cho tệp sơ đồ trang web, như: sitemap: http://subdomain.domain.com/sitemap.ashx Tại sao tôi tự hỏi: Tôi sở hữu một dịch vụ …

191 seo  sitemap  robots.txt 

My robots.txttrong Google Webmaster Tools hiển thị các giá trị sau: User-agent: * Allow: / Nó có nghĩa là gì? Tôi không có đủ kiến ​​thức về nó, vì vậy mong sự giúp đỡ của bạn. Tôi muốn cho phép tất cả rô bốt thu thập dữ liệu trang web …

116 robots.txt 

Có giải pháp thông minh nào để lưu trữ các tệp tĩnh trong thư mục gốc của ứng dụng Flask không. robots.txt và sitemap.xml dự kiến ​​sẽ được tìm thấy trong /, vì vậy ý ​​tưởng của tôi là tạo các tuyến đường cho chúng: @app.route('/sitemap.xml', methods=['GET']) def sitemap(): response …

94 python  flask  static  mod-wsgi  robots.txt