Làm cách nào để trích xuất tất cả các liên kết bên ngoài của trang web và lưu chúng vào một tệp?

Làm cách nào để trích xuất tất cả các liên kết bên ngoài của trang web và lưu chúng vào một tệp?

Nếu bạn có bất kỳ công cụ dòng lệnh nào sẽ là tuyệt vời.

Bạn sẽ cần 2 công cụ, lynx và awk , hãy thử điều này:

$ lynx -dump http://www.google.com.br | awk '/http/{print $2}' > links.txt

Nếu bạn cần đánh số dòng, sử dụng lệnh nl , hãy thử điều này:

$ lynx -dump http://www.google.com.br | awk '/http/{print $2}' | nl > links.txt

Đây là một cải tiến về câu trả lời của lelton: bạn hoàn toàn không cần awk vì lynx có một số tùy chọn hữu ích.

lynx -listonly -nonumbers -dump http://www.google.com.br

nếu bạn muốn số

lynx -listonly -dump http://www.google.com.br

1. Sử dụng Beautiful Soup để lấy các trang web trong câu hỏi.
2. Sử dụng awk để tìm tất cả các URL không trỏ đến tên miền của bạn

Tôi muốn giới thiệu Beautiful Soup qua các kỹ thuật cạo màn hình.

nếu dòng lệnh không phải là một lực lượng, bạn có thể sử dụng tiện ích mở rộng Copy All Links Firefox.