Chạy tập lệnh với Cygwin trên Windows XP với Dual Core và 4GB Ram
cat url_list.txt | xargs -P50 wget -i
Tôi cố gắng để lưới kéo qua 4GB của URL để tải về (khoảng 43 triệu)
Hoạt động ổn trong khoảng một giờ đầu tiên, sau đó trình bao Bash và tải xuống dừng lại mặc dù chỉ 2% thông qua danh sách URL.
Bất kỳ ý tưởng tại những gì có thể sai?
Cách tốt nhất để gỡ lỗi tại sao điều này dừng lại sau một giờ là gì?
Câu trả lời:
Có thể wget đang dành thời gian để tải xuống một số tệp. Có bất kỳ quá trình wget / xargs trong bộ nhớ trong khoảng thời gian nó dường như bị treo không? Nếu vậy, đó có phải là 50 quy trình đầy đủ như bạn đã phân bổ với cờ -P50 cho xargs hay bằng cách nào đó nó đã vượt qua con số đó hoặc ít hơn số đó và không có trường hợp mới nào được sinh ra đúng cách? Mặc dù nó đang được chạy dưới cygwin, hãy xem danh sách quy trình trong chính các cửa sổ, vì mỗi lần tải xuống wget sẽ khởi chạy một thể hiện trong trình quản lý tác vụ.
Tôi giả sử các URL dành cho các trang web khác nhau. Trong trường hợp đó, bạn có thể truy cập các trang web phản hồi chậm và sẽ treo một trong những trang web của bạn. Vì bạn có 50 hoạt động, bạn sẽ phải truy cập 50 trong số các trang web đó trước khi không có gì xảy ra.
Để xem đây có phải là trường hợp không, hãy thử giết một trong những cái bẫy treo và xem cái đó có bị tháo ra không.
Để bỏ qua các URL bị treo, bạn có thể cho thời gian chờ:
wget -T 60