Tại sao wc quá chậm?

Tại sao tiện ích wc quá chậm?

Khi tôi chạy nó trên một tệp lớn, sẽ mất khoảng 20 lần so với md5sum:

MyDesktop:/tmp$ dd if=/dev/zero bs=1024k count=1024 of=/tmp/bigfile
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 0.687094 s, 1.6 GB/s

MyDesktop:/tmp$ time wc /tmp/bigfile 
         0          0 1073741824 /tmp/bigfile

real    0m45.969s
user    0m45.424s
sys     0m0.424s

MyDesktop:/tmp$ time md5sum /tmp/bigfile 
cd573cfaace07e7949bc0c46028904ff  /tmp/bigfile

real    0m2.520s
user    0m2.196s
sys     0m0.316s

Đây không chỉ là một điều kiện cạnh kỳ lạ do tệp chứa đầy null, tôi thấy sự khác biệt tương tự về hiệu suất ngay cả khi tệp chứa đầy dữ liệu ngẫu nhiên hoặc là tệp văn bản.

(đây là trên Ubuntu 13.04, 64 bit)

Vì vậy, tôi đã đi đến nguồn, và có vẻ như sự chậm chạp trong việc xử lý các ký tự byte kép. Về cơ bản, đối với mỗi ký tự được đọc, nó cần gọi mbrtowc()để cố gắng chuyển đổi nó thành một ký tự rộng, sau đó ký tự rộng đó được kiểm tra để xem đó có phải là dấu tách từ, dấu tách dòng, v.v.

Thật vậy, nếu tôi thay đổi LANGbiến cục bộ của mình từ mặc định en_US.UTF-8(UTF-8 là bộ ký tự đa nhân) và đặt nó thành " C" (bộ ký tự byte đơn giản), wccó thể sử dụng tối ưu hóa một byte, giúp tăng tốc đáng kể, chỉ mất khoảng một phần tư như trước đây.

Ngoài ra, nó chỉ phải kiểm tra từng ký tự nếu nó đang đếm từ ( -w), độ dài dòng ( -L) hoặc ký tự ( -m). Nếu nó chỉ thực hiện đếm byte và / hoặc dòng, nó có thể bỏ qua việc xử lý ký tự rộng và sau đó nó chạy cực kỳ nhanh - nhanh hơn md5sum.

Tôi chạy nó thông qua gprof, và các chức năng được sử dụng để xử lý các ký tự nhiều byte ( mymbsinit(), mymbrtowc(), myiswprint(), vv) đều chiếm khoảng 30% thời gian thực hiện một mình, và mã mà bước qua bộ đệm là nhiều phức tạp bởi vì nó có tới xử lý các bước có kích thước thay đổi thông qua bộ đệm cho các ký tự có kích thước thay đổi, cũng như nhồi bất kỳ ký tự nào đã hoàn thành một phần kéo dài bộ đệm trở lại đầu bộ đệm để có thể xử lý lần sau.

Bây giờ tôi biết những gì cần tìm, tôi đã tìm thấy một vài bài viết đề cập đến sự chậm chạp của utf-8 với một số tiện ích:

/programming/13913014/grepping-a-huge-file-80gb-any-way-to-speed-it-up http://dtrace.org/bloss/enamendan/2011/12/08 / 2000x-hiệu suất-thắng /

Chỉ là một phỏng đoán nhưng bạn là loại so sánh táo với cam với sự tôn trọng với những gì wcđang làm so với những gì md5sumđang làm.

nhiệm vụ của md5sum

Khi md5sumxử lý một tệp, nó chỉ cần mở tệp dưới dạng luồng và sau đó bắt đầu chạy luồng thông qua chức năng kiểm tra MD5 cần rất ít bộ nhớ. Nó chủ yếu là CPU & đĩa I / O bị ràng buộc.

nhiệm vụ của wc

Khi wcchạy nó đang làm nhiều hơn sau đó chỉ phân tích tệp một ký tự một lần. Nó phải thực sự phân tích cấu trúc của tệp, các dòng tại một thời điểm đưa ra quyết định về việc ranh giới giữa các ký tự và liệu đó có phải là ranh giới từ hay không.

Thí dụ

Hãy nghĩ về các chuỗi sau đây và làm thế nào mỗi thuật toán sẽ phải di chuyển qua chúng khi chúng phân tích chúng:

“Hello! Greg”
“Hello!Greg”
“Hello\nGreg”
“A.D.D.”
“Wow, how great!”
“wow     \n\n\n    great”
“it was a man-eating shark.”

Đối với MD5, nó di chuyển một cách tầm thường qua các chuỗi này một ký tự tại một thời điểm. Vì wcnó phải quyết định ranh giới từ & dòng là gì và theo dõi số lần xuất hiện mà nó nhìn thấy.

Thảo luận thêm về wc

Tôi đã tìm thấy thử thách mã hóa này từ năm 2006 để thảo luận về việc triển khai wctrong .NET. Những khó khăn là khá rõ ràng khi bạn xem xét một số mã giả, vì vậy điều này có thể giúp bắt đầu làm sáng tỏ lý do tại sao wcdường như chậm hơn nhiều so với các hoạt động khác.