Nginx proxy_read_timeout so với proxy_connect_timeout

Tôi đã bắt đầu sử dụng Nginx làm proxy ngược cho một nhóm máy chủ cung cấp một số loại dịch vụ.

Dịch vụ đôi khi có thể khá chậm (đôi khi chạy trên Java và JVM đôi khi bị kẹt trong "bộ sưu tập rác đầy đủ" có thể mất vài giây), vì vậy tôi đã đặt thành proxy_connect_timeout2 giây, điều này sẽ cho Nginx đủ thời gian để tìm ra ra rằng dịch vụ bị kẹt trên GC và sẽ không đáp ứng kịp thời và nó sẽ chuyển yêu cầu đến một máy chủ khác.

Tôi cũng đã thiết lập proxy_read_timeoutđể ngăn chặn proxy ngược bị kẹt nếu bản thân dịch vụ mất quá nhiều thời gian để tính toán phản hồi - một lần nữa, nó sẽ chuyển yêu cầu đến một máy chủ khác đủ miễn phí để trả lời phản hồi kịp thời.

Tôi đã chạy một số điểm chuẩn và tôi có thể thấy rõ rằng proxy_connect_timeouthoạt động chính xác khi một số yêu cầu trả về chính xác thời gian đã hết cho thời gian chờ kết nối, vì dịch vụ bị kẹt và không chấp nhận kết nối đến (dịch vụ đang sử dụng Jetty dưới dạng nhúng thùng chứa servlet). Công cụ này proxy_read_timeoutcũng hoạt động, vì tôi có thể thấy các yêu cầu trả về sau khi hết thời gian được chỉ định ở đó.

Vấn đề là tôi đã dự kiến ​​sẽ thấy một số yêu cầu hết thời gian chờ proxy_read_timeout + proxy_connect_timeouthoặc gần hết thời gian đó, nếu dịch vụ bị kẹt và không chấp nhận kết nối khi Nginx cố gắng truy cập, nhưng trước khi Nginx có thể hết thời gian - nó sẽ được phát hành và bắt đầu xử lý, nhưng quá chậm và Nginx sẽ hủy bỏ vì hết thời gian đọc. Tôi tin rằng dịch vụ có những trường hợp như vậy, nhưng sau khi chạy một số điểm chuẩn, tổng cộng hàng triệu yêu cầu - tôi đã không thấy một yêu cầu duy nhất trả về bất cứ điều gì ở trên proxy_read_timeout(đó là thời gian chờ lớn hơn).

Tôi sẽ đánh giá cao bất kỳ nhận xét nào về vấn đề này, mặc dù tôi nghĩ rằng đó có thể là do lỗi của Nginx (tôi vẫn chưa xem mã, vì vậy đây chỉ là giả định) rằng bộ đếm thời gian chờ không được đặt lại sau khi kết nối là thành công, nếu Nginx không đọc bất cứ thứ gì từ máy chủ ngược dòng.

Tôi thực sự không thể tái tạo điều này trên:

2011/08/20 20:08:43 [notice] 8925#0: nginx/0.8.53
2011/08/20 20:08:43 [notice] 8925#0: built by gcc 4.1.2 20080704 (Red Hat 4.1.2-48)
2011/08/20 20:08:43 [notice] 8925#0: OS: Linux 2.6.39.1-x86_64-linode19

Tôi thiết lập điều này trong nginx.conf của tôi:

proxy_connect_timeout   10;
proxy_send_timeout      15;
proxy_read_timeout      20;

Sau đó tôi thiết lập hai máy chủ thử nghiệm. Một cái sẽ hết thời gian chờ trên SYN và một cái sẽ chấp nhận kết nối nhưng không bao giờ trả lời:

upstream dev_edge {
  server 127.0.0.1:2280 max_fails=0 fail_timeout=0s; # SYN timeout
  server 10.4.1.1:22 max_fails=0 fail_timeout=0s; # accept but never responds
}

Sau đó, tôi đã gửi trong một kết nối thử nghiệm:

[m4@ben conf]$ telnet localhost 2480
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
GET / HTTP/1.1
Host: localhost

HTTP/1.1 504 Gateway Time-out
Server: nginx
Date: Sun, 21 Aug 2011 03:12:03 GMT
Content-Type: text/html
Content-Length: 176
Connection: keep-alive

Sau đó xem error_log cho thấy điều này:

2011/08/20 20:11:43 [error] 8927#0: *1 upstream timed out (110: Connection timed out) while connecting to upstream, client: 127.0.0.1, server: ben.dev.b0.lt, request: "GET / HTTP/1.1", upstream: "http://10.4.1.1:22/", host: "localhost"

sau đó:

2011/08/20 20:12:03 [error] 8927#0: *1 upstream timed out (110: Connection timed out) while reading response header from upstream, client: 127.0.0.1, server: ben.dev.b0.lt, request: "GET / HTTP/1.1", upstream: "http://127.0.0.1:2280/", host: "localhost"

Và sau đó là access.log có thời gian chờ 30 giây dự kiến ​​(10 + 20):

504:32.931:10.003, 20.008:.:176 1 127.0.0.1 localrhost - [20/Aug/2011:20:12:03 -0700] "GET / HTTP/1.1" "-" "-" "-" dev_edge 10.4.1.1:22, 127.0.0.1:2280 -

Đây là định dạng nhật ký tôi đang sử dụng bao gồm thời gian chờ ngược dòng riêng lẻ:

log_format  edge  '$status:$request_time:$upstream_response_time:$pipe:$body_bytes_sent $connection $remote_addr $host $remote_user [$time_local] "$request" "$http_referer" "$http_user_agent" "$http_x_forwarded_for" $edge $upstream_addr $upstream_cache_status';

Vấn đề là tôi đã dự kiến ​​sẽ thấy một số yêu cầu hết thời gian chờ sau proxy_read_timeout + proxy_connect_timeout hoặc gần như khoảng thời gian đó, nếu dịch vụ bị kẹt và không chấp nhận kết nối khi Nginx cố gắng truy cập, nhưng trước khi Nginx có thể hết thời gian - nó được phát hành và bắt đầu xử lý, nhưng quá chậm và Nginx sẽ hủy bỏ vì hết thời gian đọc.

Hết thời gian kết nối có nghĩa là gian hàng TCP khi bắt tay (ví dụ: không có SYN_ACK). TCP sẽ thử gửi lại các SYN, nhưng bạn chỉ được cung cấp trong 2 giây. đến Nginx để sử dụng một Máy chủ khác, vì vậy đơn giản là nó không có thời gian để gửi lại các SYN.

CẬP NHẬT. : Không thể tìm thấy trong tài liệu, nhưng tcpdump cho thấy có 3 giây. sự chậm trễ giữa lần gửi thứ 1 đã được gửi và lần thử thứ 2 để gửi SYN.