Định tuyến từ các container docker bằng giao diện mạng vật lý khác và cổng mặc định

Thông tin lai lịch

Tôi có một máy chủ với hai giao diện mạng đang chạy Docker. Docker, giống như một số công cụ ảo hóa, tạo ra một giao diện cầu nối Linux được gọi là docker0. Giao diện này được cấu hình theo mặc định với IP 172.17.42.1và tất cả các container Docker giao tiếp với giao diện này là cổng của chúng và được gán địa chỉ IP trong cùng /16phạm vi. Theo tôi hiểu, tất cả lưu lượng truy cập mạng đến / từ các container đều đi qua NAT, do đó, nó xuất hiện từ bên ngoài 172.17.42.1và đến trong đó nó được gửi đến 172.17.42.1.

Thiết lập của tôi trông như vậy:

                                          +------------+        /
                                          |            |       |
                            +-------------+ Gateway 1  +-------
                            |             | 10.1.1.1   |     /
                     +------+-------+     +------------+    |
                     |     eth0     |                      /
                     |   10.1.1.2   |                      |
                     |              |                      |
                     | DOCKER HOST  |                      |
                     |              |                      | Internet
                     |   docker0    |                      |
                     |   (bridge)   |                      |
                     |  172.17.42.1 |                      |
                     |              |                      |
                     |     eth1     |                      |
                     |  192.168.1.2 |                      \
                     +------+-------+     +------------+    |
                            |             |            |     \
                            +-------------+ Gateway 2  +-------
                                          | 192.168.1.1|       |
                                          +------------+            

Vấn đề

Tôi muốn định tuyến tất cả lưu lượng truy cập từ / đến bất kỳ bộ chứa Docker nào từ eth1 192.168.1.2giao diện thứ hai đến một cổng mặc định của 192.168.1.1, trong khi tất cả lưu lượng truy cập từ / đến máy chủ đi ra ngoài eth0 10.1.1.2giao diện đến một cổng mặc định của 10.1.1.1. Tôi đã thử rất nhiều thứ cho đến nay nhưng không có kết quả, nhưng một điều mà tôi nghĩ là gần nhất để sửa là sử dụng iproute2 như vậy:

# Create a new routing table just for docker
echo "1 docker" >> /etc/iproute2/rt_tables

# Add a rule stating any traffic from the docker0 bridge interface should use 
# the newly added docker routing table
ip rule add from 172.17.42.1 table docker

# Add a route to the newly added docker routing table that dictates all traffic
# go out the 192.168.1.2 interface on eth1
ip route add default via 192.168.1.2 dev eth1 table docker

# Flush the route cache
ip route flush cache

# Restart the Docker daemon so it uses the correct network settings
# Note, I do this as I found Docker containers often won't be able
# to connect out if any changes to the network are made while it's     
# running
/etc/init.d/docker restart

Khi tôi mang lên một container tôi không thể ping ra khỏi nó sau khi làm điều này. Tôi không chắc chắn nếu các giao diện cầu được xử lý giống như các giao diện vật lý dành cho loại định tuyến này và chỉ muốn kiểm tra độ tỉnh táo cũng như bất kỳ mẹo nào về cách tôi có thể thực hiện nhiệm vụ có vẻ đơn giản này.

Bạn cũng có thể phải xem thêm về thiết lập iptables. Docker giả mạo tất cả lưu lượng truy cập có nguồn gốc từ mạng con container, giả sử là 172.17.0.0/16, đến 0.0.0.0. Nếu bạn chạy iptables -L -n -t nat, bạn có thể thấy chuỗi POSTROUTING bên dưới bảng nat thực hiện điều này -

XÁC NHẬN Chuỗi (CHẤP NHẬN chính sách)
đích đích chọn nguồn tham gia
Tất cả mọi thứ - 172.17.0.0/16 0.0.0.0/0

Bây giờ, bạn có thể xóa quy tắc này và thay thế quy tắc này bằng cách che giấu tất cả lưu lượng truy cập bắt nguồn từ mạng con của bộ chứa sang IP của giao diện thứ hai của bạn - 192.168.1.2, vì đó là điều bạn mong muốn. Quy tắc xóa sẽ là, giả sử rằng đó là quy tắc đầu tiên trong chuỗi POSTROUTING -

iptables -t nat -D ĐIỂM 1

Sau đó, bạn thêm quy tắc tùy chỉnh này -

iptables -t nat -A POSTROUTING -s 172.17.0.0/16 -j SNAT - đến nguồn 192.168.1.2

Một người bạn và tôi gặp phải vấn đề chính xác này, nơi chúng tôi muốn có docker hỗ trợ nhiều yêu cầu phục vụ giao diện mạng. Chúng tôi đặc biệt làm việc với dịch vụ AWS EC2 nơi chúng tôi cũng đang đính kèm / định cấu hình / hiển thị các giao diện bổ sung. Trong dự án này , có nhiều hơn những gì bạn cần vì vậy tôi sẽ cố gắng chỉ bao gồm những gì bạn cần ở đây.

Đầu tiên, những gì chúng tôi đã làm là tạo một bảng lộ trình riêng cho eth1:

ip route add default via 192.168.1.2 dev eth1 table 1001

Tiếp theo, chúng tôi đã cấu hình bảng mangle để đặt một số dấu kết nối đến từ eth1:

iptables -t mangle -A PREROUTING -i eth1 -j MARK --set-xmark 0x1001/0xffffffff
iptables -t mangle -A PREROUTING -i eth1 -j CONNMARK --save-mark --nfmask 0xffffffff --ctmask 0xffffffff

Cuối cùng, chúng tôi thêm quy tắc này cho tất cả các fwmarks để sử dụng bảng mới mà chúng tôi đã tạo.

ip rule add from all fwmark 0x1001 lookup 1001

Lệnh dưới đây iptablessẽ khôi phục dấu kết nối và sau đó cho phép quy tắc định tuyến sử dụng bảng định tuyến chính xác.

iptables -w -t mangle -A PREROUTING -i docker0 -m conntrack --ctstate RELATED,ESTABLISHED -j CONNMARK --restore-mark --nfmask 0xffffffff --ctmask 0xffffffff

Tôi tin rằng đây là tất cả những gì cần thiết từ ví dụ phức tạp hơn của chúng tôi trong đó (như tôi đã nói) dự án của chúng tôi đã đính kèm / định cấu hình / hiển thị eth1giao diện khi khởi động.

Bây giờ ví dụ này sẽ không ngăn các kết nối từ eth0phục vụ các yêu cầu đến docker0nhưng tôi tin rằng bạn có thể thêm quy tắc định tuyến để ngăn chặn điều đó.

Việc giả trang không phải từ 172.17.42.1 mà là

 -A POSTROUTING -s 172.17.0.0/16 ! -o docker0 -j MASQUERADE

Điều đó có nghĩa là quy tắc này sẽ không hoạt động đúng.

ip rule add from 172.17.42.1 table docker

Thay vào đó hãy thử

ip rule add from 172.17.0.0/16 table docker