Tại sao viết SLOW trên thiết bị thô và NHANH CHÓNG trên hệ thống tập tin (khóa USB)?

Tôi có một khóa USB ( PQI U822V-Speedy 32G ) mà tôi đang cố gắng điểm chuẩn nhanh trên Linux. Tôi đang thử viết bandwith.

dd trên phân vùng thô

Tôi đã tạo một phân vùng bắt đầu từ sector 2048, sau đó thực hiện ghi tuần tự 4 GB:

dd if=/dev/zero of=/dev/sdb1 bs=1M count=4096

Tôi nhận được ~ 22 MB / s.

Tôi cũng đã thử một vài (4) ddchạy song song như ở trên nhưng sử dụng count=1024và seek=tùy chọn để ghi vào các khu vực khác nhau của ổ đĩa. Kết quả tương tự.

dd trên hệ thống tập tin

Tuy nhiên, khi tôi định dạng sdb1phân vùng bằng ext4hoặc NTFS, và sao chép các tệp lớn vào đó (có thực hoặc /dev/zero), như thế này:

time dd if=/dev/zero of=/media/USBKEY/file.bin bs=1M count=4096 ; time sync

Tôi đạt được> 66 MB / s như quảng cáo của nhà sản xuất. Tất nhiên, tôi đã xem xét syncthời lượng ngay sau khi sao chép.

Tại sao có sự khác biệt hiệu suất lớn như vậy?

Bây giờ tôi nhìn lại, tôi nhận ra bạn nói đây là khóa usb (ổ flash) không phải ổ cứng. Bộ nhớ flash chỉ có thể bị xóa trong các khối lớn và các thành phần riêng lẻ không thể được ghi mà không xóa chúng (và toàn bộ khối chúng nằm trong) trước tiên. Vì phần mềm hy vọng có thể ghi bất cứ nơi nào nó muốn trên đĩa bất cứ lúc nào, nên đĩa có logic dịch trong đó để xử lý việc xóa một cách trong suốt. Làm thế nào điều này được thực hiện có ảnh hưởng đáng kể đến hiệu suất viết. Nhiều thiết bị sử dụng một thuật toán cho hầu hết các đĩa xử lý việc ghi tuần tự rất tốt, nhưng lại bị mất khi ghi ngẫu nhiên. Khu vực gần đầu đĩa thường được sử dụng bởi FAT trong hệ thống tệp FAT mà chúng được định dạng sẵn và khu vực này được ghi ngẫu nhiên thành thường xuyên, vì vậy chúng sử dụng một thuật toán khác trong khu vực này chậm hơn khi ghi tuần tự,

Vì vậy, bây giờ tôi khá chắc chắn rằng dự đoán ban đầu của tôi, tôi đã thêm vào như một nhận xét là đúng. Những gì bạn đang thấy khi bạn ghi vào hệ thống tập tin là hiệu suất của phần còn lại của đĩa và khi bạn dd ở offset 0, bạn đang ghi vào vùng mỡ. Nếu bạn tìm kiếm điểm đến dd vài trăm mb, nó sẽ tăng tốc đáng kể.

Kết quả đo của bạn có thể được giải thích với kiến ​​trúc kernel. Sử dụng truy cập hệ thống tập tin sẽ giải phóng toàn bộ tiềm năng của kernel với tất cả các bộ đệm và tối ưu hóa mà nó có thể làm. Đặc biệt, bộ đệm sẽ tăng tốc điểm chuẩn của bạn (b / c kernel là 100% a_A_syncronous). dd trên một tập tin thiết bị không sử dụng bất kỳ / nhiều trong số này.

hdparmThay vào đó, hãy thử sử dụng để đánh giá hiệu năng của ổ đĩa có và không sử dụng bất kỳ bộ đệm nào:

$ sudo hdparm -tT /dev/sda1

/dev/sda1:
 Timing cached reads:   6314 MB in  2.00 seconds = 3157.61 MB/sec
 Timing buffered disk reads: 244 MB in  3.04 seconds =  80.26 MB/sec

Điều này xảy ra do việc tối ưu hóa việc ghi các tệp thưa trong hệ thống tệp.

Khi bạn thực hiện dd if=/dev/zerovới thiết bị thô, các khối 0 thực sự được ghi vào đĩa.

Tuy nhiên, khi bạn ghi chúng vào một tệp, hệ thống tệp sẽ bỏ qua việc ghi dữ liệu và chỉ lưu siêu dữ liệu. Điều này dẫn đến rất ít khối được ghi vào đĩa. Các tập tin có thể được coi là một lỗ lớn, không chứa gì.

Để kiểm tra hiệu suất theo cách này, hãy sử dụng / dev / urandom làm tệp đầu vào ( dd if=/dev/urandom). Điều đó sẽ buộc hệ thống tập tin ghi dữ liệu ngẫu nhiên vào đĩa.