pgBouncer hoạt động tuyệt vời nhưng đôi khi không có sẵn

Tôi đang chạy pgBouncer trước cơ sở dữ liệu 9 postgres bận rộn. Trong hầu hết thời gian nó hoạt động tốt. Nhưng cứ sau vài giờ tôi sẽ nhận được một email lỗi từ ứng dụng của mình ngoại trừ psycopg2:

Toán tửError ('không thể kết nối với máy chủ: Không thể gán địa chỉ được yêu cầu Có phải máy chủ đang chạy trên máy chủ "neo-hulk" và chấp nhận kết nối TCP / IP trên cổng 6432?')

Đây là một ứng dụng python với một nhóm công nhân cần tây đang chạy các nhiệm vụ. Khi những lỗi đó xuất hiện, tôi kiểm tra db pgbouncer và kích thước nhóm nằm trong giới hạn. Sau một số thử nghiệm, tôi đã đặt kích thước tối đa của nhóm là 400 và kích thước nhóm thành 200. Chế độ nhóm là "phiên" (yêu cầu chủ yếu là tự động cam kết, hầu như không có giao dịch).

Điều gì khiến pgBouncer 'biến mất' như thế? nó chỉ trong một khoảng thời gian ngắn (và tổng cộng chúng ta đang nói về một lượng nhỏ yêu cầu so với khối lượng yêu cầu tuyệt đối của nó) nhưng những yêu cầu đó không quan trọng.

Cảm ơn!

Phần " Không thể gán địa chỉ được yêu cầu " trong thông báo lỗi xuất phát từ ngăn xếp TCP kernel. Khi gặp phải không liên tục, điều này thường có nghĩa là không gian của các ổ cắm có sẵn đã cạn kiệt do có quá nhiều ổ cắm ở trạng thái chờ ( TIME_WAIThoặc ít có thể FIN_WAIT_1hoặc FIN_WAIT_2)

Phạm vi của các cổng ổ cắm có thể được đầu ra bởi cat /proc/sys/net/ipv4/ip_local_port_range. Giá trị mặc định trên kernel Linux stock là nói chung 32768 61000.

Bạn có thể kiểm tra kết quả của netstat -ton|grep WAIT(các) máy khách và trên máy chủ của pgBouncer khi hệ thống bận. Các -olá cờ sẽ hiển thị các quầy timeout liên quan đến trạng thái chờ đợi.

Nếu tổng số ổ cắm TCP gần bằng 61000-32768=28232thì sự cạn kiệt của phạm vi này có thể là vấn đề của bạn. Do ổ cắm đóng dành 60 giây ở TIME_WAITtrạng thái bình thường, nếu máy chủ khách kết nối hơn 28,02 lần trong một phút, các kết nối mới sẽ không thành công với lỗi được đề cập cho đến khi các cổng được giải phóng.

Như một giải pháp đầu tiên, phạm vi cổng TCP có thể được mở rộng:

 # echo "1025 65535" >/proc/sys/net/ipv4/ip_local_port_range

Nếu nó không thỏa đáng, hãy kiểm tra tcp_tw_recyclevà tcp_tw_reusecờ, cũng có thể điều chỉnh thông qua /proc/sys/net/ipv4và sysctl.

Chúng được định nghĩa là (từ man tcp):

       tcp_tw_recycle (Boolean; default: bị vô hiệu hóa; kể từ Linux 2.4)
              Cho phép tái chế nhanh các ổ cắm TIME_WAIT. Kích hoạt tính năng này
              tùy chọn không được khuyến nghị vì điều này gây ra vấn đề khi làm việc‐
              ing với NAT (Dịch địa chỉ mạng).

       tcp_tw numuse (Boolean; default: bị vô hiệu hóa; kể từ Linux 2.4.19 / 2.6)
              Cho phép sử dụng lại ổ cắm TIME_WAIT cho các kết nối mới khi có
              an toàn từ quan điểm giao thức. Nó không nên được thay đổi mà không có
              tư vấn / yêu cầu của các chuyên gia kỹ thuật.

Cá nhân tôi đã thành công tcp_tw_recyclekhi gặp phải vấn đề này với ứng dụng máy khách MySQL, nhưng đừng coi đây là một khuyến nghị, sự hiểu biết của tôi về TCP là hời hợt nhất.