Khi bạn di chuyển một trang web thông qua chuyển hướng 301, bạn có nên thiết lập robot.txt không cho phép thu thập dữ liệu địa chỉ cũ không?

8

Một trang web tôi đang làm việc đã chuyển một tên miền phụ sang một tên miền phụ khác thông qua chuyển hướng 301. Tuy nhiên, khi kiểm tra tệp robots.txt của tên miền phụ cũ, nó có tệp robots.txt không cho phép trình thu thập dữ liệu web của công cụ tìm kiếm thu thập dữ liệu.

Đây có phải là động thái đúng đắn? Tôi tin là không bởi vì các trình thu thập thông tin sẽ không thể thu thập dữ liệu trang web cũ để xem mã trạng thái 301.

seo redirects robots.txt

— cậu bé mat
nguồn

3

Là không được phép đã có trước khi di chuyển? Một số trang web không muốn ở trong công cụ tìm kiếm. Không rõ tình hình diễn ra như thế nào.

— dùng64742

11

Những nghi ngờ của bạn là đúng, với lý do chính xác mà bạn đề cập. Nếu bạn không cho phép robot truy cập trang web cũ, họ sẽ không thể thấy chuyển hướng 301.

— Theo van der Zee
nguồn

Điều đó cũng có nghĩa là nước trái cây liên kết đã trỏ đến tên miền cũ sẽ không được chuyển sang tên miền mới vì robot.txt không cho phép Gbot thu thập dữ liệu?

— cậu bé mat

1

Vâng, đó chính xác là điều sẽ xảy ra nếu robot.txt đang chặn quyền truy cập vào bot.

— Theo van der Zee

5

Tôi tin là không bởi vì các trình thu thập thông tin sẽ không thể thu thập dữ liệu trang web cũ để xem mã trạng thái 301.

Vâng, chính xác - đây không phải là "di chuyển đúng". Nếu bạn thực hiện chuyển hướng 301, có lẽ để bảo toàn SEO, thì việc chặn các URL đang được chuyển hướng sẽ ngăn các công cụ tìm kiếm nhìn thấy chuyển hướng và lập chỉ mục nội dung mới.

— Tài liệu
nguồn

Điều đó cũng có nghĩa là nước trái cây liên kết đã trỏ đến tên miền cũ sẽ không được chuyển sang tên miền mới vì robot.txt không cho phép Gbot thu thập dữ liệu?

— cậu bé mat

@mat boy, "liên kết nước trái cây" hiếm khi được cập nhật nếu có. Nó không có khả năng được cập nhật lên tên miền mới có hoặc không có tệp robot.txt, nhưng giữ 301 ở vị trí vô thời hạn, đảm bảo rằng các liên kết sẽ kết thúc ở đúng nơi.

— Bạch tuộc

1

@Octopus Bạn dường như đang mô tả "PageRank", không phải "liên kết nước trái cây"? "Liên kết nước trái cây" chỉ là một thuật ngữ phổ biến / tiếng lóng mô tả lợi ích SEO của việc liên kết từ trang này sang trang khác.

— DocRoot

1

@matboy Vâng, đúng vậy, sẽ không có "liên kết nước trái cây" nào được chuyển sang URL mới. Vì bot bị chặn không nhìn thấy chuyển hướng, bot (công cụ tìm kiếm) không biết trang đã chuyển đến một vị trí khác. Các URL cũ sẽ rơi vào SERPs và cuối cùng biến mất, trong khi các URL mới sẽ cần xây dựng SEO của chúng từ đầu.

— DocRoot

0

Tôi sẽ giữ robot.txt như hiện tại, nhưng đảm bảo rằng các trang cũ và mới có phiên bản thẻ Canonical phù hợp. Điều này sẽ giúp công cụ tìm kiếm có ý nghĩa về những gì đã diễn ra.

— Jason
nguồn

2

Làm thế nào các trình thu thập thông tin có thể đọc các thẻ chính tắc trên trang web nếu bạn đang bảo họ không thu thập dữ liệu trang web?

— cậu bé mat