CURL để tải xuống một thư mục

Tôi đang cố tải xuống một thư mục trang web đầy đủ bằng cách sử dụng CURL. Lệnh sau không hoạt động:

curl -LO http://example.com/

Nó trả về một lỗi : curl: Remote file name has no length!.

Nhưng khi tôi làm điều này: curl -LO http://example.com/someFile.typenó hoạt động. Bất kỳ ý tưởng làm thế nào để tải về tất cả các tập tin trong thư mục được chỉ định? Cảm ơn.

Luôn luôn làm việc cho tôi, bao gồm không có cha mẹ và đệ quy để chỉ có được thư mục mong muốn.

 wget --no-parent -r http://WEBSITE.com/DIRECTORY

HTTP không thực sự có một khái niệm về thư mục. Các dấu gạch chéo khác với ba ( http://example.com/) đầu tiên không có bất kỳ ý nghĩa đặc biệt nào ngoại trừ ..các URL tương đối. Vì vậy, trừ khi máy chủ tuân theo một định dạng cụ thể, không có cách nào để tải xuống tất cả các tệp trong thư mục được chỉ định.

Nếu bạn muốn tải xuống toàn bộ trang web, cách tốt nhất của bạn là duyệt qua tất cả các liên kết trong trang chính theo cách đệ quy. Curl không thể làm điều đó, nhưng wget có thể. Điều này sẽ hoạt động nếu trang web không quá năng động (đặc biệt, wget sẽ không thấy các liên kết được xây dựng bằng mã Javascript). Bắt đầu với wget -r http://example.com/và xem bên dưới Tùy chọn truy hồi đệ quy và các tùy chọn chấp nhận đệ quy và từ chối trong các hướng dẫn wget để biết thêm các tùy chọn phù hợp (độ sâu đệ quy, danh sách loại trừ, v.v.).

Nếu trang web cố gắng chặn tải xuống tự động, bạn có thể cần thay đổi chuỗi tác nhân người dùng ( -U Mozilla) và bỏ qua robots.txt(tạo tệp trống example.com/robots.txtvà sử dụng -nctùy chọn để wget không cố tải xuống từ máy chủ).

Trong trường hợp này, curlKHÔNG phải là công cụ tốt nhất. Bạn có thể sử dụng wgetvới -rđối số, như thế này:

wget -r http://example.com/ 

Đây là hình thức cơ bản nhất và bạn cũng có thể sử dụng các đối số bổ sung. Để biết thêm thông tin, xem manpage( man wget).

Điều này là không thể. Không có cách chuẩn, thường được triển khai, để một máy chủ web trả lại nội dung của một thư mục cho bạn. Hầu hết các máy chủ đều tạo ra một chỉ mục HTML của một thư mục, nếu được cấu hình để làm như vậy, nhưng đầu ra này không phải là tiêu chuẩn, cũng không được đảm bảo bởi bất kỳ phương tiện nào. Bạn có thể phân tích cú pháp HTML này, nhưng hãy nhớ rằng định dạng sẽ thay đổi từ máy chủ này sang máy chủ khác và sẽ không luôn được bật.

Bạn có thể sử dụng tiện ích mở rộng Firefox DownThem ALL! Nó sẽ cho phép bạn tải xuống tất cả các tập tin trong một thư mục chỉ bằng một cú nhấp chuột. Nó cũng có thể tùy chỉnh và bạn có thể chỉ định loại tệp để tải xuống. Đây là cách dễ nhất mà tôi đã tìm thấy.

Bạn có thể tìm thấy việc sử dụng cho một trình trích xuất trang web ở đây, điều này sẽ tải xuống mọi thứ và sửa đổi nội dung / liên kết nội bộ để sử dụng cục bộ. Một cái tốt có thể được tìm thấy ở đây: http://www.httrack.com