Tải xuống đệ quy (`wget -r`) tương đương với Firefox?


15

Tôi có một trang web và tôi muốn tải xuống tất cả các trang / liên kết trong trang web đó. Tôi muốn làm một wget -rURL này. Không có liên kết nào đi "bên ngoài" thư mục cụ thể này, vì vậy tôi không lo lắng về việc tải xuống toàn bộ internet.

Hóa ra, các trang tôi muốn nằm phía sau phần được bảo vệ bằng mật khẩu của trang web. Mặc dù tôi có thể sử dụng wget để thực hiện đàm phán cookie theo cách thủ công, nhưng tôi sẽ dễ dàng hơn rất nhiều khi chỉ cần "đăng nhập" từ trình duyệt và sử dụng một số plugin firefox để tải xuống đệ quy mọi thứ.

Có một phần mở rộng hoặc một cái gì đó sẽ cho phép tôi làm điều này? Nhiều tiện ích mở rộng tập trung vào việc lấy phương tiện / hình ảnh từ trang (heh. Heh.) Nhưng tôi quan tâm đến tất cả nội dung - HTML và mọi thứ.

Gợi ý?

Cảm ơn!

Biên tập

DownThem ALL có vẻ như là một gợi ý hay. Nó có thể làm một tải xuống đệ quy ? Như trong, tải xuống tất cả các liên kết trên trang, sau đó tải xuống tất cả các liên kết có trong mỗi trang đó, v.v? Vì vậy, về cơ bản tôi phản chiếu toàn bộ cây thư mục bằng cách liên kết sau? Kinda thích -rtùy chọn của wget?

Câu trả lời:


7

DownThem ALL không thực hiện tải xuống đệ quy. Nó chỉ lấy các liên kết từ trang hiện tại. Chỉ trang HTML của URLS được liên kết được tải xuống. Hình ảnh và phương tiện của các trang được liên kết không được tải xuống.


6

SpiderZilla có nghĩa là để làm điều đó - nhưng, nó hơi cũ (2006).
Nó dựa trên máy photocopy trang web HTTrack .
Mà đã cập nhật phiên bản cho tất cả các nền tảng.

Ngoài ra còn có một addon cũ hơn có thể cho phép bạn tự cắm thêm wget('trong số những thứ khác).

Tuy nhiên, tôi cũng cảm thấy rằng DownThemAll có lẽ là một lựa chọn tốt.
Nếu bạn biết những gì bạn muốn phản chiếu, việc chọn đúng liên kết không phải là một vấn đề.
Và, bạn luôn có thể đánh dấu vào hộp kiểm 'Tất cả'.

Vì vậy, +1, cho DownThem ALL nếu bạn muốn bám vào trình duyệt.
Và, sử dụng HTTrack nếu bạn muốn một công cụ độc lập (và wget không tiện dụng).

Cập nhật: bạn cũng có thể muốn xem phiếu bầu của HTTrack tại câu hỏi tiền thưởng này,
Làm cách nào tôi có thể tải xuống toàn bộ trang web .


DTA không hỗ trợ đệ quy
Hayden Thring

4

Bạn có thể sử dụng wget -rvới cookie từ trình duyệt, được trích xuất sau khi ủy quyền.

Firefox có tùy chọn "Sao chép dưới dạng cURL" trong menu ngữ cảnh của yêu cầu trang trong tab Mạng của Công cụ dành cho nhà phát triển web, phím nóng Ctrl + Shift + Q (bạn có thể cần tải lại trang sau khi mở công cụ): ảnh chụp màn hình

Thay thế cờ tiêu đề của curl -Hbằng wget --headervà bạn có tất cả các tiêu đề cần thiết, bao gồm cookie, để tiếp tục phiên trình duyệt với wget.

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.