Làm cho wget không tải xuống các tệp lớn hơn kích thước X


11

Được rồi, tôi bỏ cuộc. Làm cách nào để tôi giới hạn kích thước tệp được tải xuống, như nói tôi không muốn bất kỳ tệp nào lớn hơn 2 MB?

Câu trả lời:


6

Tùy chọn giới hạn duy nhất tôi biết wgethỗ trợ nào là -Qchuyển đổi cho hạn ngạch. Đây không phải là những gì bạn muốn, vì nó sẽ dừng sau một giới hạn kết hợp của tất cả các tệp bạn đã tải xuống, không phải riêng lẻ. Đường ống từng liên kết đến nó một cách riêng biệt với công -Qtắc sẽ không hoạt động, như được giải thích trong trang man .

Tôi không biết bạn đang sử dụng môi trường nào, nhưng trình thu thập thông tin hỗ trợ các giới hạn kích thước tệp với các byte có độ dài tối đa và chạy trên nền tảng Java.

từ hướng dẫn sử dụng của họ :

  • độ dài tối đa byte

Số byte tối đa để tải xuống trên mỗi tài liệu. Sẽ cắt bớt tập tin khi đạt đến giới hạn này.

Theo mặc định, giá trị này được đặt thành một giá trị cực lớn (trong phạm vi exabyte) sẽ không bao giờ đạt được trong thực tế.


Hừm. Được chứ. Điều đó nhắc lại rất nhiều những gì tôi tìm ra nhưng dù sao câu trả lời tốt. Tuy nhiên, tôi không biết rằng Heritrix đã cắt bớt các tập tin thay vì bỏ qua chúng.
Nathaniel

3

Nếu đó là về " tải xuống tối đa 2 MB " thay vì " tải xuống các tệp có tối đa 2 MB ", bạn chỉ có thể giới hạn đầu ra được lưu vào đĩa.

wget -O - $url |head -c 1024(với tùy chọn > $SaveAsFile) -> lưu KB đầu tiên và phần còn lại bị cắt ngắn.

(đủ để thấy " OK: $ Message ", không giết / tmp của tôi với hàng tấn thông báo lỗi từ xa ;-))


Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.