Cần một cái gì đó nhanh hơn so với trên mạng

Đối với một tệp thực sự lớn như 1GB wc -lxảy ra là chậm. Chúng ta có cách tính nhanh hơn số lượng dòng mới cho một tệp cụ thể không?

Bạn có thể thử viết bằng C:

#include <unistd.h>
#include <stdio.h>
#include <string.h>
int main(){
  char buf[BUFSIZ];
  int nread;
  size_t nfound=0;
  while((nread=read(0, buf, BUFSIZ))>0){
    char const* p;
    for(p=buf; p=memchr(p,'\n',nread-(p-buf)); nfound++,p++) {;}
  }
  if(nread<0) { perror("Error"); return 1; }
  printf("%lu\n", nfound);
  return 0;
}

Lưu trong ví dụ, wcl.cbiên dịch ví dụ, với gcc wcl.c -O2 -o wclvà chạy với

<yourFile ./wcl

Điều này tìm thấy các dòng mới được rắc trong tệp 1GB trên hệ thống của tôi trong khoảng 370ms (chạy lặp lại). (Tăng kích thước bộ đệm tăng một chút thời gian, đó là điều được mong đợi - BUFSIZ phải gần với tối ưu). Điều này rất tương đương với ~ 380ms tôi nhận được wc -l.

Mmaping cho tôi thời gian tốt hơn khoảng 280ms , nhưng tất nhiên nó có giới hạn là bị giới hạn ở các tệp thực (không có FIFOS, không có đầu vào đầu cuối, v.v.):

#include <stdio.h>
#include <string.h>
#include <sys/mman.h>
#include <sys/stat.h>
#include <sys/types.h>
#include <unistd.h>
int main(){
  struct stat sbuf;
  if(fstat(0, &sbuf)<0){ perror("Can't stat stdin"); return 1; }

  char* buf = mmap(NULL, sbuf.st_size, PROT_READ, MAP_PRIVATE, 0/*stdin*/, 0/*offset*/);
  if(buf == MAP_FAILED){ perror("Mmap error"); return 1; } 

  size_t nread = sbuf.st_size, nfound=0;
  char const* p;
  for(p=buf; p=memchr(p,'\n',nread-(p-buf)); nfound++,p++) {;}

  printf("%lu\n", nfound);
  return 0;
}

Tôi đã tạo tệp thử nghiệm của mình với:

 $ dd if=/dev/zero of=file bs=1M count=1042 

và thêm một số dòng thử nghiệm mới với:

 $ echo >> 1GB 

và một trình soạn thảo hex.

Bạn có thể cải thiện giải pháp được đề xuất bởi @pskocik bằng cách giảm số lượng cuộc gọi đến read. Có rất nhiều cuộc gọi để đọc BUFSIZcác đoạn từ tệp 1Gb. Cách tiếp cận thông thường để làm điều này là bằng cách tăng kích thước bộ đệm:

• chỉ để giải trí, hãy thử tăng kích thước bộ đệm lên 10 lần hoặc 100. Trên Debian 7 của tôi, BUFSIZlà 8192. Với chương trình ban đầu, đó là 120 nghìn thao tác đọc. Bạn có thể có khả năng chi trả bộ đệm đầu vào 1Mb để giảm hệ số đó xuống 100 lần.
• Để có cách tiếp cận tối ưu hơn, các ứng dụng có thể phân bổ bộ đệm lớn như tệp, yêu cầu một thao tác đọc. Điều đó hoạt động đủ tốt cho các tệp "nhỏ" (mặc dù một số độc giả có nhiều hơn 1Gb trên máy của họ).
• cuối cùng, bạn có thể thử nghiệm I / O được ánh xạ bộ nhớ, xử lý phân bổ như vậy.

Khi đo điểm chuẩn cho các phương pháp khác nhau, bạn có thể nhớ rằng một số hệ thống (như Linux) sử dụng hầu hết bộ nhớ chưa sử dụng của máy làm bộ đệm đĩa. Cách đây một thời gian (gần 20 năm trước, được đề cập trong Câu hỏi thường gặp ), tôi đã bối rối trước kết quả tốt bất ngờ từ thuật toán phân trang (không tốt lắm) mà tôi đã phát triển để xử lý các điều kiện bộ nhớ thấp trong trình soạn thảo văn bản. Tôi được giải thích rằng nó chạy rất nhanh vì chương trình đang hoạt động từ bộ đệm được sử dụng để đọc tệp và chỉ khi tệp được đọc lại hoặc ghi thì sẽ có sự khác biệt về tốc độ.

Điều tương tự cũng áp dụng cho mmap(trong một trường hợp khác vẫn nằm trong danh sách việc cần làm của tôi để kết hợp vào Câu hỏi thường gặp, nhà phát triển đã báo cáo kết quả rất tốt trong tình huống trong đó bộ đệm đĩa là lý do thực sự để cải thiện). Phát triển điểm chuẩn cần có thời gian và sự quan tâm để phân tích lý do cho hiệu suất tốt (hoặc xấu).

Đọc thêm:

• Là sử dụng một bộ đệm lớn hơn hữu ích?
• mmap () so với khối đọc
• mmap, munmap - ánh xạ hoặc unmap tệp hoặc thiết bị vào bộ nhớ (hiển thị chương trình mẫu)
• 13.7 I / O được ánh xạ bộ nhớ (Thư viện GNU C)
• Cách thanh lọc bộ đệm I / O trên Linux
• Làm thế nào để bạn làm trống bộ đệm và bộ đệm trên hệ thống Linux?