Cách sử dụng GNU song song hiệu quả

Giả sử tôi muốn tìm tất cả các kết quả khớp trong tệp văn bản nén:

$ gzcat file.txt.gz | pv --rate -i 5 | grep some-pattern

pv --rateđược sử dụng ở đây để đo thông lượng đường ống. Trên máy của tôi, tốc độ khoảng 420Mb / giây (sau khi giải nén).

Bây giờ tôi đang cố gắng thực hiện grep song song bằng cách sử dụng GNU song song.

$ gzcat documents.json.gz | pv --rate -i 5 | parallel --pipe -j4 --round-robin grep some-pattern

Bây giờ thông lượng được giảm xuống ~ 260Mb / s. Và parallelbản thân quá trình quan tâm hơn là sử dụng rất nhiều CPU. Nhiều hơn grepcác quy trình (nhưng ít hơn gzcat).

EDIT 1 : Tôi đã thử các kích thước khối khác nhau ( --block), cũng như các giá trị khác nhau cho -N/ -Ltùy chọn. Không có gì giúp tôi ở điểm này.

Tôi đang làm gì sai?

Tôi thực sự ngạc nhiên khi bạn nhận được 270 MB / s khi sử dụng GNU Parallel --pipe. Các thử nghiệm của tôi thường đạt tối đa khoảng 100 MB / s.

Nút cổ chai của bạn rất có thể trong GNU Parallel: --pipekhông hiệu quả lắm. --pipeparttuy nhiên, là: Ở đây tôi có thể nhận được thứ tự 1 GB / s cho mỗi lõi CPU.

Thật không may, có một vài hạn chế khi sử dụng --pipepart:

• Các tập tin phải được tìm kiếm (tức là không có đường ống)
• Bạn phải có thể tìm thấy sự bắt đầu của một bản ghi với --recstart / - recend (tức là không có tệp nén)
• Số dòng không xác định (vì vậy bạn không thể có bản ghi 4 dòng).

Thí dụ:

parallel --pipepart -a bigfile --block 100M grep somepattern

grep rất hiệu quả - không có ý nghĩa gì khi chạy nó song song. Trong lệnh của bạn chỉ giải nén cần nhiều cpu hơn, nhưng điều này không thể song song.

Việc tách đầu vào bằng cách song song cần nhiều cpu hơn là nhận các dòng khớp bằng grep.

Thay đổi tình huống nếu bạn muốn sử dụng thay vì grep một cái gì đó cần nhiều cpu hơn cho mỗi dòng - thì song song sẽ có ý nghĩa hơn.

Nếu bạn muốn tăng tốc thao tác này - hãy xem nút thắt ở đâu - có thể là giải nén (sau đó giúp sử dụng công cụ giải nén khác hoặc cpu tốt hơn) hoặc - đọc từ đĩa (sau đó giúp sử dụng công cụ giải nén khác hoặc hệ thống đĩa tốt hơn).

Theo kinh nghiệm của tôi - đôi khi tốt hơn là sử dụng lzma (ví dụ -2) để nén / giải nén các tệp - nó có độ nén cao hơn gzip nên cần đọc dữ liệu từ đĩa ít hơn và tốc độ tương đương.

Giải nén là nút cổ chai ở đây. Nếu giải nén không song song trong nội bộ, bạn sẽ không tự mình đạt được nó. Nếu bạn có nhiều hơn một công việc như vậy, thì dĩ nhiên khởi động chúng song song, nhưng chính đường ống của bạn rất khó để song song. Chia một luồng thành các luồng song song hầu như không bao giờ có giá trị và có thể rất đau đớn với việc đồng bộ hóa và hợp nhất. Đôi khi bạn phải chấp nhận rằng nhiều lõi sẽ không giúp ích cho mỗi tác vụ bạn đang chạy.

Nói chung, song song trong shell nên chủ yếu ở mức độ của các quá trình độc lập.