Làm cách nào để đặt thời gian chờ cho các yêu cầu http.Get () trong Golang?

Tôi đang tạo một trình tìm nạp URL trong Go và có một danh sách các URL để tìm nạp. Tôi gửi http.Get()yêu cầu đến từng URL và nhận được phản hồi của họ.

resp,fetch_err := http.Get(url)

Làm cách nào để đặt thời gian chờ tùy chỉnh cho mỗi Yêu cầu nhận? (Thời gian mặc định rất lâu và điều đó làm cho trình tìm nạp của tôi thực sự chậm.) Tôi muốn trình tìm nạp của mình có thời gian chờ khoảng 40-45 giây, sau đó nó sẽ trả về "request đã hết thời gian chờ" và chuyển sang URL tiếp theo.

Làm thế nào tôi có thể đạt được điều này?

Rõ ràng trong Go 1.3 http.Client có trường Timeout

client := http.Client{
    Timeout: 5 * time.Second,
}
client.Get(url)

Đó là hoàn thành thủ thuật cho tôi.

Bạn cần thiết lập Ứng dụng khách của riêng mình với Giao thông vận tải của riêng bạn , sử dụng chức năng Quay số tùy chỉnh bao quanh DialTimeout .

Một cái gì đó như (hoàn toàn chưa được kiểm tra ) thế này :

var timeout = time.Duration(2 * time.Second)

func dialTimeout(network, addr string) (net.Conn, error) {
    return net.DialTimeout(network, addr, timeout)
}

func main() {
    transport := http.Transport{
        Dial: dialTimeout,
    }

    client := http.Client{
        Transport: &transport,
    }

    resp, err := client.Get("http://some.url")
}

Để thêm vào câu trả lời của Volker, nếu bạn cũng muốn đặt thời gian chờ đọc / ghi ngoài thời gian chờ kết nối, bạn có thể làm như sau

package httpclient

import (
    "net"
    "net/http"
    "time"
)

func TimeoutDialer(cTimeout time.Duration, rwTimeout time.Duration) func(net, addr string) (c net.Conn, err error) {
    return func(netw, addr string) (net.Conn, error) {
        conn, err := net.DialTimeout(netw, addr, cTimeout)
        if err != nil {
            return nil, err
        }
        conn.SetDeadline(time.Now().Add(rwTimeout))
        return conn, nil
    }
}

func NewTimeoutClient(connectTimeout time.Duration, readWriteTimeout time.Duration) *http.Client {

    return &http.Client{
        Transport: &http.Transport{
            Dial: TimeoutDialer(connectTimeout, readWriteTimeout),
        },
    }
}

Mã này đã được thử nghiệm và đang được sản xuất. Ý chính đầy đủ với các bài kiểm tra có sẵn tại đây https://gist.github.com/dmichael/5710968

Lưu ý rằng bạn sẽ cần tạo một ứng dụng khách mới cho mỗi yêu cầu vì ứng dụng conn.SetDeadlinenày tham chiếu đến một điểm trong tương lai từtime.Now()

Nếu bạn muốn thực hiện theo yêu cầu, hãy bỏ qua việc xử lý lỗi cho ngắn gọn:

ctx, cncl := context.WithTimeout(context.Background(), time.Second*3)
defer cncl()

req, _ := http.NewRequestWithContext(ctx, http.MethodGet, "https://google.com", nil)

resp, _ := http.DefaultClient.Do(req)

Một cách nhanh chóng và bẩn thỉu:

http.DefaultTransport.(*http.Transport).ResponseHeaderTimeout = time.Second * 45

Đây là trạng thái toàn cầu thay đổi bất kỳ sự phối hợp nào. Tuy nhiên, nó có thể ổn đối với trình tìm nạp url của bạn. Nếu không, hãy tạo một phiên bản riêng của http.RoundTripper:

var myTransport http.RoundTripper = &http.Transport{
        Proxy:                 http.ProxyFromEnvironment,
        ResponseHeaderTimeout: time.Second * 45,
}

var myClient = &http.Client{Transport: myTransport}

resp, err := myClient.Get(url)
...

Không có gì ở trên đã được thử nghiệm.

Bạn có thể sử dụng https://github.com/franela/goreq để xử lý thời gian chờ theo cách đơn giản và thời trang.

timeout := time.Duration(5 * time.Second)
transport := &http.Transport{Proxy: http.ProxyURL(proxyUrl), ResponseHeaderTimeout:timeout}

Điều này có thể hữu ích, nhưng lưu ý rằng nó ResponseHeaderTimeoutchỉ bắt đầu sau khi kết nối được thiết lập.