Làm cho Linux ghi vào hệ thống tệp mạng đồng thời với các lần đọc đĩa cục bộ

Tóm lược

Làm thế nào bạn có thể cấu hình Linux để đọc cả từ đĩa / hệ thống tệp cục bộ và ghi vào chia sẻ mạng cùng một lúc, trái ngược với việc đọc trong khi không có dữ liệu nào đi qua mạng, sau đó gửi dữ liệu đó qua mạng trong khi đĩa cục bộ nhàn rỗi?

Nó nhanh hơn nhiều để đọc và viết cùng một lúc thay vì chỉ thực hiện một thao tác và sau đó là một thao tác xen kẽ.

Chi tiết

Tôi đang chuyển một lượng lớn dữ liệu từ các đĩa cục bộ trên máy Linux sang thiết bị NAS.

Tôi đang sử dụng rsyncđể sao chép cơ bản /srv/datavào /mnt/nas, đó là một mount CIFS.

Nó khởi đầu tốt, đọc ở tốc độ 100MB / giây và ghi vào NAS với tốc độ 100MB / giây (giới hạn của mạng gigabit), với cả việc đọc và viết xảy ra đồng thời.

Tuy nhiên, bây giờ, vài giờ sau, tôi thấy rằng nó đang đọc từ đĩa cục bộ, sau đó dừng đọc trong khi ghi vào NAS, sau đó khi không còn dữ liệu để ghi vào NAS, nó tiếp tục đọc từ đĩa lần nữa. Mạng không hoạt động trong khi đĩa đang được đọc và đĩa không hoạt động trong khi mạng đang được sử dụng.

Không cần phải nói, đọc 200 MB sau đó viết 200 MB mất nhiều thời gian hơn đọc và viết 200 MB đó cùng một lúc.

Làm cách nào tôi có thể định cấu hình kernel sao cho nó dính vào hành vi đọc và viết trước đó cùng lúc, thay vì xen kẽ giữa đọc rồi viết, chỉ thực hiện một thao tác tại một thời điểm?

Một số quan sát: Khi đĩa cục bộ đọc ở tốc độ 100 + MB / giây, mọi thứ dường như xảy ra song song tốt, nhưng một khi đĩa chậm lại (dường như chỉ ở mức 20MB / giây vì một số lý do) đó là khi đọc / ghi chuyển đổi dường như xảy ra.

Tôi cũng có thể chạy syncbằng tay mỗi vài giây để có được ghi xảy ra song song với việc đọc (mặc dù rõ ràng là ở tốc độ giảm) tuy nhiên đặt synctrong một whilevòng lặp để nó chạy năm giây không có vẻ như là giải pháp đúng ...

Hạt nhân dường như lưu trữ khoảng 1GB dữ liệu và sau đó ghi nó ra mạng càng nhanh càng tốt - điều đó tốt - tôi không hiểu tại sao đĩa chậm cần dừng đọc trong khi dữ liệu được gửi qua mạng.

Sau một số điều tra thêm, có vẻ như vấn đề này ít liên quan đến hạt nhân hơn và nhiều hơn về cách thức rsyncvà CIFS tương tác.

Theo như tôi có thể nhận ra, điều đang xảy ra là khi rsyncđóng tệp đích, CIFS (và có lẽ là bất kỳ hệ thống tệp mạng nào) đảm bảo tệp được xóa hoàn toàn và ghi vào đĩa từ xa trước khi tòa nhà closequay trở lại. Điều này là để đảm bảo bất kỳ ứng dụng nào khi hoạt động đóng hoàn thành thành công, tệp đã được lưu hoàn toàn và không có bất kỳ lỗi nào có thể gây mất dữ liệu.

Nếu điều này không được thực hiện, thì ứng dụng có thể đóng tệp, thoát khỏi suy nghĩ rằng thao tác lưu đã thành công, sau đó (có lẽ do sự cố mạng), dữ liệu không thể được ghi lại, nhưng sau đó quá muộn để ứng dụng làm bất cứ điều gì về nó, chẳng hạn như hỏi người dùng xem họ có muốn lưu tệp ở nơi khác không.

Yêu cầu này có nghĩa là mỗi lần rsynchoàn thành sao chép một tệp, toàn bộ bộ đệm đĩa phải trống hết trên mạng trước khi rsyncđược phép tiếp tục đọc tệp tiếp theo.

Cách giải quyết là gắn kết chia sẻ CIFS với tùy chọn cache=nonevô hiệu hóa tính năng này và khiến tất cả I / O chuyển trực tiếp đến máy chủ. Điều này giúp loại bỏ vấn đề và cho phép đọc và ghi thực thi song song, tuy nhiên một nhược điểm của giải pháp này là hiệu suất có phần thấp hơn. Trong trường hợp của tôi, tốc độ truyền mạng giảm từ 110MB / giây xuống 80MB / giây.

Điều này có thể có nghĩa là nếu bạn đang sao chép các tệp lớn, hiệu suất có thể tốt hơn với hành vi đọc / ghi xen kẽ. Với nhiều tệp nhỏ hơn, việc vô hiệu hóa bộ đệm sẽ dẫn đến việc xóa bộ nhớ cache ít hơn mỗi lần đóng tệp để hiệu suất có thể tăng lên ở đó.

Có vẻ như rsynccần một tùy chọn để đóng tay cầm tệp của nó trong một luồng khác, vì vậy nó có thể bắt đầu đọc tệp tiếp theo trong khi tệp cuối cùng vẫn đang bị xóa.

EDIT: Tôi đã xác nhận rằng cache=nonechắc chắn sẽ giúp khi chuyển nhiều tệp nhỏ (mang lại từ 10MB / giây lên đến 80MB / giây) nhưng khi chuyển các tệp lớn (1GB +) cache=nonesẽ giảm tốc độ truyền từ 110MB / giây xuống cùng 80MB / giây. Điều này cho thấy rằng việc truyền chậm từ nhiều tệp nhỏ ít hơn về việc tìm kiếm đĩa nguồn và nhiều hơn về việc có quá nhiều lần xóa bộ đệm từ tất cả các tệp nhỏ.