Quản trị trang web robots.txt

4

Tôi muốn có một danh sách các tập tin nên tồn tại trên mỗi trang web. Ý tưởng là làm hài lòng hầu hết các trình duyệt và bot và nhận được số lượng tin nhắn 404 trong nhật ký. Cho đến nay tôi có các tập tin sau: /favicon.ico …

36 robots.txt 404 logging favicon

6

Nếu tôi không muốn thiết lập bất kỳ hành vi đặc biệt nào, liệu tôi có phiền khi có tệp robot.txt không?

Nếu tôi không muốn thiết lập bất kỳ hành vi đặc biệt nào, liệu tôi có phiền khi có tệp robot.txt không? Hoặc thiếu một trong những có thể có hại?

29 robots.txt

2

Có sự khác biệt nào giữa robot.txt trống và không có robot.txt nào không?

Trên một máy chủ web bây giờ tôi phải thừa nhận tôi nhận thấy rằng tệp robots.txt trống. Tôi tự hỏi liệu có sự khác biệt giữa robot.txt trống và không có tệp nào không. Do trình thu thập thông tin hành xử khác nhau trong hai trường hợp này? …

28 web-crawlers robots.txt webserver

1

Chúng tôi có thể sử dụng regex trong tệp robot.txt để chặn URL không?

Tôi có một vài URL được tạo động. Tôi có thể sử dụng regex để chặn các URL này trong tệp robot.txt không?

23 robots.txt regular-expression

2

Làm cách nào để tôi không cho phép toàn bộ thư mục với tệp robots.txt?

Câu hỏi này đã được di chuyển từ Stack Overflow vì nó có thể được trả lời trên Web Exchange của Exchange Exchange. Di cư 8 năm trước . Tôi có hai trang web tôi hiện đang làm việc đó là một giỏ mua hàng và một người mua sắm …

19 seo robots.txt

2

Tại sao kết quả tìm kiếm của Google bao gồm các trang không được phép trong robot.txt?

Tôi có một số trang trên trang web của mình mà tôi muốn tránh xa các công cụ tìm kiếm, vì vậy tôi không cho phép chúng trong robots.txttệp của mình như thế này: User-Agent: * Disallow: /email Tuy nhiên, gần đây tôi nhận thấy rằng Google đôi khi vẫn …

18 google-search robots.txt

7

Google có bộ đệm robot.txt không?

Tôi đã thêm một tệp robots.txt vào một trong các trang web của tôi một tuần trước, điều này sẽ ngăn Googlebot cố gắng tìm nạp một số URL nhất định. Tuy nhiên, cuối tuần này tôi có thể thấy Googlebot đang tải các URL chính xác đó. Google có …

17 googlebot robots.txt google-cache

3

Robot.txt có thể nằm trong thư mục con của máy chủ không?

Tôi có một thư mục con mà tôi muốn ẩn khỏi trình thu thập dữ liệu web của công cụ tìm kiếm. Một cách để làm điều này là sử dụng một robots.txttrong thư mục gốc của máy chủ (cách tiêu chuẩn). Tuy nhiên, bất kỳ ai biết URL trang …

16 web-crawlers robots.txt

4

Trang web đã bị hack, cần xóa tất cả các URL bắt đầu bằng + từ Google, sử dụng robot.txt?

Bạn có thể vui lòng cho tôi biết cách chặn các URL như vậy robots.txtđể Googlebots ngừng lập chỉ mục không? http://www.example.com/+rt6s4ayv1e/d112587/ia0g64491218q Trang web của tôi đã bị hack hiện đã được khôi phục nhưng hacker đã lập chỉ mục 5000 URL trong Google và bây giờ tôi gặp lỗi …

15 google-search robots.txt url-removal

3

Tệp robot.txt hợp lệ tối thiểu là gì?

Tôi không thích điều đó Tôi thấy rất nhiều lỗi 404 trong access.log của máy chủ web của tôi. Tôi đang gặp phải những lỗi đó vì trình thu thập thông tin cố gắng mở tệp robot.txt , nhưng không thể tìm thấy. Vì vậy, tôi muốn đặt một tệp …

14 robots.txt

3

Robots.txt - CSS cho phép hoặc không cho phép

CSS và các mẫu có được phép trong robot.txt không? Nó có nên gây ra vấn đề gì không? Trong Joomla, CSS và các mẫu không được phép trong tệp robots.txt . Vui lòng giúp tôi tìm giải pháp cho việc có hay không đưa robot vào CSS, mẫu, v.v. …

12 css robots.txt

3

Robots.txt: tôi có cần không cho phép một trang không được liên kết ở bất cứ đâu không?

Có một số trang trên trang web của tôi mà tôi muốn người dùng chỉ có thể truy cập nếu tôi cung cấp cho anh ấy / cô ấy URL. Nếu tôi không cho phép các trang đơn lẻ vào robots.txt, bất kỳ ai cũng sẽ nhìn thấy chúng. Câu …

12 robots.txt

2

Những bot nào thực sự đáng để cho vào một trang web?

Đã viết một số bot và thấy số lượng lớn các bot ngẫu nhiên xảy ra để thu thập dữ liệu một trang web, tôi tự hỏi là một quản trị trang web, những bot nào thực sự đáng để cho vào một trang web? Suy nghĩ đầu tiên của …

11 seo web-crawlers robots.txt googlebot bingbot

4

Ẩn một tên miền con khỏi kết quả SEO của Google / Search Engine?

Tôi có một tên miền phụ mà tôi không muốn được liệt kê trong bất kỳ kết quả công cụ tìm kiếm nào. Hãy nói rằng tôi có: http://www.example.com http://child.example.com Làm cách nào tôi có thể ẩn tất cả các URL của child.example.comtên miền hiện đang hiển thị trong kết …

11 search-engines url robots.txt search noindex

2

Công cụ quản trị trang web của Google cho tôi biết rằng robot đang chặn quyền truy cập vào sơ đồ trang web

Đây là robot.txt của tôi : User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Sitemap: http://www.example.org/sitemap.xml.gz Nhưng Google Webmaster Tools cho tôi biết rằng robot đang chặn quyền truy cập vào sơ đồ trang web: Chúng tôi đã gặp lỗi khi cố gắng truy cập Sơ đồ trang web của bạn. Vui …

11 google-search-console robots.txt web-crawlers

Câu hỏi được gắn thẻ «robots.txt»