Làm thế nào bạn dừng 'wget' sau khi nó nhận được 404?

Nếu bạn sử dụng mở rộng dấu ngoặc với wget, bạn có thể tìm nạp hình ảnh được đánh số liên tục một cách dễ dàng:

$ wget 'http://www.iqandreas.com/sample-images/100-100-color/'{90..110}'.jpg'

Rồi nó lấy 10 file đầu tiên đánh số 90.jpgđể 99.jpgchỉ tốt, nhưng 100.jpgtrở đi trở lại một 404: File không tìm thấy lỗi (tôi chỉ có 100 hình ảnh được lưu trữ trên máy chủ). Các tệp không tồn tại này trở thành "vấn đề" hơn nếu bạn sử dụng phạm vi lớn hơn, chẳng hạn như {00..200}với 100 tệp không tồn tại, nó làm tăng thời gian thực thi của tập lệnh và thậm chí có thể trở thành gánh nặng nhỏ (hoặc ít nhất là gây khó chịu) máy chủ.

Có cách nào wgetđể dừng lại sau khi nhận được lỗi 404 đầu tiên không? (hoặc thậm chí tốt hơn, hai liên tiếp, trong trường hợp có một tệp bị thiếu trong phạm vi vì một lý do khác) Câu trả lời không cần sử dụng mở rộng dấu ngoặc; vòng lặp cũng tốt

Nếu bạn hài lòng với một vòng lặp:

for url in 'http://www.iqandreas.com/sample-images/100-100-color/'{90..110}'.jpg'
do
    wget "$url" || break
done

Điều đó sẽ chạy wgetcho mỗi URL trong bản mở rộng của bạn cho đến khi nó thất bại, và sau đó breakthoát khỏi vòng lặp.

Nếu bạn muốn hai lần thất bại liên tiếp, nó sẽ phức tạp hơn một chút:

for url in 'http://www.iqandreas.com/sample-images/100-100-color/'{90..110}'.jpg'
do
    if wget "$url"
    then
        failed=
    elif [ "$failed" ]
    then
        break
    else
        failed=yes
    fi
done

Bạn có thể thu nhỏ nó một chút với &&và ||thay vì if, nhưng nó trở nên khá xấu xí.

Tôi không tin wgetcó bất cứ điều gì được xây dựng để làm điều đó.

Bạn có thể sử dụng $?biến để lấy mã trả về của wget. Nếu nó khác không thì có nghĩa là đã xảy ra lỗi và bạn kiểm tra nó cho đến khi đạt đến ngưỡng, thì nó có thể thoát ra khỏi vòng lặp.

Một cái gì đó như thế này ra khỏi đỉnh đầu của tôi

#!/bin/bash

threshold=0
for x in {90..110}; do
    wget 'http://www.iqandreas.com/sample-images/100-100-color/'$x'.jpg'
    wgetreturn=$?
    if [[ $wgetreturn -ne 0 ]]; then
        threshold=$(($threshold+$wgetreturn))
        if [[ $threshold -eq 16 ]]; then
                break
        fi
    fi
done

Vòng lặp for có thể được làm sạch một chút, nhưng bạn có thể hiểu ý tưởng chung.

Thay đổi $threshold -eq 16thành -eq 24có nghĩa là nó sẽ thất bại 3 lần trước khi nó dừng lại, tuy nhiên nó sẽ không thành hai lần liên tiếp, sẽ là nếu nó thất bại hai lần trong vòng lặp.

Lý do tại sao 16và 24được sử dụng là tổng số mã trả về.
wget trả lời với mã trả về 8khi nhận được mã phản hồi tương ứng với lỗi từ máy chủ và do đó 16là tổng số sau 2 lỗi.

Dừng khi thất bại chỉ xảy ra hai lần liên tiếp có thể được thực hiện bằng cách đặt lại ngưỡng bất cứ khi nào wgetthành công, tức là khi mã trả về là 0

Với GNU Parallel, điều này phải hoạt động:

parallel --halt 1 wget ::: 'http://www.iqandreas.com/sample-images/100-100-color/'{90..110}'.jpg'

Từ phiên bản 20140722, bạn gần như có thể có "hai liên tiếp" của mình: - tạm dừng 2% sẽ cho phép 2% công việc thất bại:

parallel --halt 2% wget ::: 'http://www.iqandreas.com/sample-images/100-100-color/'{90..110}'.jpg'

IMO, tập trung vào wgetmã thoát / trạng thái có thể quá ngây thơ đối với một số trường hợp sử dụng, vì vậy đây là một trường hợp xem xét Mã trạng thái HTTP cũng như đối với một số quyết định chi tiết.

wgetcung cấp một -S/--server-responsecờ để in ra các Tiêu đề phản hồi HTTP trên STDERRlệnh - mà chúng ta có thể trích xuất và hành động theo.

#!/bin/bash

set -eu

error_max=2
error_count=0

urls=( 'http://www.iqandreas.com/sample-images/100-100-color/'{90..110}'.jpg' )

for url in "${urls[@]}"; do
  set +e
  http_status=$( wget --server-response -c "$url" 2>&1 )
  exit_status=$?
  http_status=$( awk '/HTTP\//{ print $2 }' <<<"$http_status" | tail -n 1 )

  if (( http_status >= 400 )); then
    # Considering only HTTP Status errors
    case "$http_status" in
      # Define your actions for each 4XX Status Code below
      410) : Gone
        ;;
      416) : Requested Range Not Satisfiable
        error_count=0  # Reset error_count in case of `wget -c`
        ;;
      403) : Forbidden
        ;&
      404) : Not Found
        ;&
      *)     (( error_count++ ))
        ;;
    esac
  elif (( http_status >= 300 )); then
     # We're unlikely to reach here in case of 1XX, 3XX in $http_status
     # but ..
     exit_status=0
  elif (( http_status >= 200 )); then
     # 2XX in $http_status considered successful
     exit_status=0
  elif (( exit_status > 0 )); then

    # Where wget's exit status is one of
    # 1   Generic error code.
    # 2   Parse error 
    #     - when parsing command-line options, the .wgetrc or .netrc...
    # 3   File I/O error.
    # 4   Network failure.
    # 5   SSL verification failure.
    # 6   Username/password authentication failure.
    # 7   Protocol errors.

    (( error_count++ ))
  fi

  echo "$url -> http_status: $http_status, exit_status=$exit_status, error_count=$error_count" >&2

  if (( error_count >= error_max )); then
    echo "error_count $error_count >= $error_max, bailing out .." >&2
    exit "$exit_status"
  fi

done

Trong python bạn có thể làm

from subprocess import *

def main():
    for i in range(90, 110):
       try :
          url = "url/"+str(i)
          check_output(["wget", url])
       except CalledProcessError:
          print "Wget returned none zero output, quiting"
          sys.exit(0)

Kiểm tra tài liệu cho quy trình con nếu bạn muốn làm nhiều hơn https://docs.python.org/2/l Library / sub process.html