wget --spider: làm thế nào để biết các liên kết bị hỏng đến từ đâu

Đôi khi tôi sử dụng chế độ nhện tích hợp của wget để thuận tiện kiểm tra nhanh chóng một trang web địa phương để tìm các liên kết bị hỏng. Sáng nay tôi đã chú ý đến một trang web sản xuất mà chúng tôi vừa mới đưa ra những thay đổi lớn và nó xuất hiện với 3 liên kết bị hỏng, nhưng dường như không thể biết chúng ở đâu! (Nó chỉ nói những gì họ liên kết đến và không có cách liên quan đơn giản nào mà quay lại một trang.)

Các tùy chọn tôi hiện đang sử dụng là wget -r -nv --spider http://www.domain.com/ -o /path/to/log.txt. Có ai biết về một tùy chọn mà tôi đang xem, một cách để đọc đầu ra hoặc thậm chí là một thay thế đơn giản cho lệnh này cũng sẽ cho tôi biết tập tin nào liên kết xuất hiện trong (và lý tưởng là một dòng #) không?

Bạn sẽ có thể xem nhật ký máy chủ web, kết hợp với chạy wget. Tìm kiếm 404trong tệp nhật ký và kéo referrertrường. Điều đó sẽ cho bạn biết trang chứa liên kết bị hỏng.

Sau đó, nó chỉ là một vấn đề kiểm tra trang đó cho các liên kết vi phạm.

Một cách tốt (không liên quan đến nhật ký máy chủ web) là sử dụng --debugcờ và grep cho^Referer:

Trên dòng lệnh:

wget -r -nv --spider http://www.domain.com/ 2>&1 | egrep -A 1 '(^---response end---$|^--[0-9]{4}-[0-9]{2}-[0-9]{2}|^[0-9]{4}-[0-9]{2}-[0-9]{2} ERROR|^Referer:|^Remote file does not)'

Bạn có thể thực hiện grepping tương tự trên nhật ký của bạn. Hãy cẩn thận: một số wget không được biên dịch với sự hỗ trợ cho--debug