Tôi muốn tải xuống toàn bộ trang web bằng wget nhưng tôi không muốn tải xuống hình ảnh, video, v.v.
Tôi đã thử
wget -bqre robots=off -A.html example.com –user-agent=”Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.6) Gecko/20070725 Firefox/2.0.0.6″
nhưng khi tôi làm điều đó thì nó không tải xuống các tệp .php, chỉ tải xuống các tệp .html tĩnh.
Có một giải pháp cho vấn đề này với wget?
Câu trả lời:
Bạn đã nói rõ ràng với wget chỉ chấp nhận các tệp có .htmlhậu tố.
Giả sử rằng các trang php có .php, bạn có thể làm điều này:
wget -bqre robots=off -A.html,.php example.com –user-agent=”Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.6) Gecko/20070725 Firefox/2.0.0.6″
Lưu ý rằng điều này sẽ tải xuống html được kết xuất, không phải nguồn của php. Nếu trang đủ động, bạn có thể không nhận được kết quả hiển thị mà bạn mong đợi.
Tuy nhiên, tôi đề nghị rằng một công cụ khác như omerack có thể thực hiện công việc tốt hơn - nó phụ thuộc vào chính xác những gì bạn cần làm.
-A lấy một danh sách, vì vậy -A.html, .php phải phù hợp với hóa đơn. Bạn cũng nên tìm đến -R (nó cũng có một danh sách từ chối).
Vâng, có, và nó khá đơn giản. Hãy xem câu trả lời SO này: /superuser/709702/how-to-crawl-USE-wget-to-doad-only-html-files-ignore-images-css-js
tl / dr; sử dụng --follow-tags=amà sẽ làm theo chỉ athẻ.