Thông lượng truyền dữ liệu lý thuyết tối đa của NTFS là gì?


28

Gần đây tôi có mặt tại một cuộc họp nhóm người dùng địa phương nơi người thuyết trình lưu ý rằng thông lượng tối đa của ngăn xếp NTFS IO là 1 GB / giây. Ông đã chứng minh cho tuyên bố của mình bằng cách sao chép đồng thời hai tệp lớn từ cùng một khối lượng logic sang các khối logic khác nhau (nghĩa là [a] là nguồn, [b] là đích 1 và [c] là đích 2) và lưu ý tốc độ truyền dao động trong khoảng 500 MBps. Ông đã lặp lại thử nghiệm này một vài lần và lưu ý rằng hệ thống con lưu trữ cơ bản là flash (để đảm bảo chúng tôi không nghi ngờ việc lưu trữ chậm).

Tôi đã cố gắng xác minh xác nhận này nhưng không thể tìm thấy bất cứ điều gì được ghi lại. Tôi nghi ngờ rằng tôi đang tìm kiếm các cụm từ tìm kiếm sai ("thông lượng NTFS 1GBps", "tối đa thông lượng NTFS"). Tôi quan tâm đến việc liệu IO stack có thực sự bị giới hạn ở thông lượng 1GBps hay không.

CHỈNH SỬA

Để làm rõ: Tôi không tin rằng người trình bày có ý ám chỉ rằng NTFS bị hạn chế có chủ ý (và tôi xin lỗi nếu tôi cũng ngụ ý điều đó). Tôi nghĩ rằng nó đã được ngụ ý rằng nó là một chức năng của thiết kế hệ thống tập tin.


1GB / giây là khá nhanh ngay cả đối với (các) ổ đĩa flash
TheFiddlerWins

2
@TheFiddlerWins 1 GB / s! = 1 Gbps
Kermit

1
Tôi đồng ý, nhưng câu hỏi của anh ấy nói "... thông lượng tối đa của ngăn xếp IO NTFS là 1
GB / giây

1
Thử nghiệm đơn giản - sao chép tệp trên các đĩa RAM? Không khó để có được 16 * 2 = 32GB RAM trong những ngày này.
kizzx2

1
JamesRyan - sử dụng FTP làm cơ chế truyền tải không đột ngột thay đổi hệ thống tệp. Đừng nhầm lẫn SMB với NTFS.
mfinni

Câu trả lời:


36

Ngay cả giả sử bạn có ý GBpsvà không Gbps...

Tôi không biết bất kỳ hệ thống tập tin có một thực tế throughput limit. Hệ thống tập tin chỉ đơn giản là các cấu trúc xung quanh cách lưu trữ và truy xuất tệp. Họ sử dụng siêu dữ liệu, cấu trúc, quy ước đặt tên, quy ước bảo mật, v.v. nhưng các giới hạn thông lượng thực tế được xác định bởi chính phần cứng cơ bản (thường là sự kết hợp của rất nhiều phần cứng liên quan).

So sánh các hệ thống tệp khác nhau và cách chúng ảnh hưởng đến hiệu năng của phần cứng cơ bản có thể được thực hiện, nhưng một lần nữa, đó không phải là giới hạn được áp đặt trực tiếp bởi hệ thống tệp mà là "biến" trong hiệu suất chung của hệ thống.

Việc chọn triển khai một hệ thống tệp trên một hệ thống khác thường liên quan đến hệ điều hành cơ bản là gì, máy chủ / ứng dụng sẽ là gì, phần cứng cơ bản là gì và các yếu tố mềm như lĩnh vực chuyên môn và sự quen thuộc của quản trị viên.

================================================== ================================

NGUỒN KỸ THUẬT VÀ CÔNG DÂN


Tối ưu hóa NTFS

Yếu tố hiệu suất NTFS

Bạn xác định nhiều yếu tố ảnh hưởng đến hiệu suất của ổ đĩa NTFS. Bạn chọn các yếu tố quan trọng, chẳng hạn như loại âm lượng NTFS (ví dụ: SCSI hoặc IDE), tốc độ (ví dụ: tốc độ vòng / phút của đĩa) và số lượng ổ đĩa chứa. Ngoài các thành phần quan trọng này, các yếu tố sau ảnh hưởng đáng kể đến hiệu suất của ổ đĩa NTFS:

  • Kích thước đơn vị cụm và phân bổ
  • Vị trí và mức độ phân mảnh của các tệp được truy cập thường xuyên, chẳng hạn như Bảng tệp chính (MFT), thư mục, các tệp đặc biệt chứa siêu dữ liệu NTFS, tệp hoán trang và các tệp dữ liệu người dùng thường sử dụng
  • Cho dù bạn tạo ổ đĩa NTFS từ đầu hoặc chuyển đổi nó từ ổ đĩa FAT hiện có
  • Liệu âm lượng có sử dụng nén NTFS không
  • Cho dù bạn vô hiệu hóa các hành vi NTFS không cần thiết

Sử dụng đĩa nhanh hơn và nhiều ổ đĩa hơn trong khối lượng đa luồng là một cách rõ ràng để cải thiện hiệu suất. Các phương pháp cải thiện hiệu suất khác tối nghĩa hơn và liên quan đến các chi tiết về cấu hình của ổ đĩa NTFS.


Khả năng mở rộng và hiệu suất trong các hệ thống tệp hiện đại

Thật không may, không thể thực hiện so sánh hiệu suất trực tiếp của các hệ thống tệp đang thảo luận vì chúng không phải là tất cả có sẵn trên cùng một nền tảng. Hơn nữa, vì dữ liệu có sẵn nhất thiết phải từ các nền tảng phần cứng khác nhau, rất khó để phân biệt các đặc tính hiệu suất của hệ thống tệp với nền tảng phần cứng mà nó đang chạy.


Tối ưu hóa NTFS

Sách trắng mới cung cấp hướng dẫn định cỡ khối lượng NTFS

Có gì mới trong NTFS

Cấu hình hệ thống tệp NTFS để thực hiện

https://superuser.com/questions/411720/how-does-ntfs-compression-affect-performance

Thực hành tốt nhất để nén NTFS trong Windows


9
Thậm chí, tôi vẫn có thể đưa ra một hội nghị chuyên đề chỉ có 802.11g được kết nối trên tất cả các thiết bị và tuyên bố giới hạn thông lượng của NTFS là <54Mbps bằng cách chứng minh qua và sao chép giữa các thiết bị.
TheCleaner

1
Có thể, nhưng nói "NTFS có giới hạn cứng" so với "NTFS chậm hơn ext4 trên phần cứng <x>" là một sự khác biệt lớn. Anh ta có thể đã đánh giá sai, bạn có thể đã giải thích sai, bất kể ... bạn đi đâu.
TheCleaner

7
Một lần nữa, hệ thống tập tin NTFS sẽ không có bất kỳ giới hạn nào như vậy, nhưng trình điều khiển NTFS đã cho có thể.
mfinni

1
Đừng nghĩ về nó như một giới hạn mà là một chi phí hợp lý. Điều đó cũng bao gồm trình điều khiển như một giới hạn "thiết lập" sẽ phải là một giá trị định nghĩa được xác định trong mã của trình điều khiển. Tuy nhiên, tôi hiểu rằng bạn nghĩ quy trình <- (@mfinni) ... giới hạn cứng được xác định trong thông lượng về khả năng xử lý đĩa đọc / ghi IO và cả giới hạn kỹ thuật của phương tiện vận chuyển.
AngryWombat

1
Nice cho biết thêm,
@TheCleaner

10

Tôi rất nghi ngờ có một tắc nghẽn truyền dữ liệu liên quan đến một hệ thống tệp , bởi vì các hệ thống tệp không ra lệnh chi tiết thực hiện sẽ làm hạn chế hiệu năng . Một trình điều khiển nhất định cho một hệ thống tập tin trên một cấu hình phần cứng cụ thể tất nhiên sẽ có các tắc nghẽn.


Tôi không nghĩ nó bị hạn chế một cách có chủ ý, nhưng nghĩ rằng, có lẽ, đó là một hạn chế của thiết kế
swasheck

Cảm ơn bạn đã tập trung từ "hệ thống tập tin" xuống "trình điều khiển."
swasheck

5
Bạn không thể tăng tốc độ của một cuốn sách - bạn có thể tăng tốc độ của người đọc và những điều người đọc phụ thuộc vào.
mfinni

Giới hạn và cổ chai là hai thứ khác nhau ... vì Hệ thống tệp có thể gây ra tình trạng quá tải về mặt lý thuyết là có thể tạo ra cổ chai nhưng sẽ không xác định giới hạn cứng mà tôi tin là ý định trong bài này.
AngryWombat

7

Tôi sẽ rất ngạc nhiên nếu điều này là sự thật. Hãy xem xét mọi thứ có thể làm chậm hệ thống tập tin:

  • Phương tiện vật lý (đĩa, ssd)
  • Kết nối với phương tiện này (sas, sata, fcal)
  • Phân mảnh
  • Các thuật toán khóa xấu hoặc các vấn đề mã khác
  • Tốc độ CPU và bộ nhớ

Yếu tố hạn chế phổ biến nhất là phương tiện vật lý của bạn. Xoay gỉ là SLOW . Ví dụ , đĩa thực sự mới này có tốc độ tối đa 6 Gbps (đó là Gbps, không phải GBps!). Tất nhiên sử dụng thiết lập đột kích 1 sẽ tăng tốc độ này. Tất nhiên bạn sẽ không bao giờ đạt được điều này, vì tìm cách giết chết hiệu suất của bạn. Vì vậy, hãy sử dụng một SSD bạn nói? Ôi nhìn kìa, 6Gb nữa.

Sau đó, có kết nối: sas (bộ nhớ cục bộ nhanh nhất) lên tới 6 Gbps, FC tăng lên 16Gbps mặc dù.

Bạn có chắc bản demo của mình đã sử dụng phần cứng cao cấp, hiện đại như vậy không?

Nếu bạn là: thú vị! Bạn có thể đã gặp trường hợp 3 và hệ thống tập tin của bạn cần tối ưu hóa. Hoặc nhiều khả năng trình điều khiển và ứng dụng của bạn đang ăn hết CPU của bạn (5). Nếu cả hai điều này đều không xảy ra, bạn có thể đã gặp phải vấn đề về hiệu năng thực tế trong NTFS, vui lòng báo cáo vấn đề này với microsoft.

Và thậm chí sau đó: đây không phải là một giới hạn nhân tạo, được đưa ra để làm cho cuộc sống của bạn thêm đau khổ. Hệ thống tập tin không cố ý giới hạn tốc độ truyền, nhưng bị giới hạn bởi bất cứ điều gì phần cứng của bạn có thể cung cấp cho bạn.


7

Tôi không nghĩ có một mức tối đa. Nhưng tôi biết đó là hơn 1 GB / giây vì những người ở Samsung đã đọc 2121,29 MB / giây và 2000.195 MB / giây ghi với giàn khoan năm 2009 của họ với 24 ổ SSD http://www.youtube.com/watch?v=96dWOEa4Djs

Họ nghĩ rằng họ đã đạt đến giới hạn đó bởi vì đây là tổng băng thông phần cứng kết hợp của các thẻ điều khiển mà SSD đã được cắm vào.

Ngoài ra trang này http: //blog.laleighmag.com/faster-than-an-ssd-how-to-turn-extra-memory-into-a-ram-disk cho thấy một đĩa RAM được định dạng với NTFS nhận 5 đến 7 GB /S. Hãy tự mình thử với một trong những tựa RAMdisk được liệt kê trên http://en.wikipedia.org/wiki/List_of_RAM_drive_software


3

Cách hợp lý duy nhất để so sánh các giới hạn hệ thống tệp là làm như vậy trên các hệ thống trong đó hằng số là hệ thống tệp và các biến là các yếu tố khác như thiết bị, kết nối, v.v. Sử dụng một hệ thống để so sánh tốc độ truyền qua một số lần lặp chỉ chứng minh rằng hệ thống cụ thể là hạn chế, không phải là hệ thống tập tin bị hạn chế.



1

Không có giới hạn thông lượng tích hợp trong NTFS. Hạn chế duy nhất về tốc độ là các đặc tính hiệu suất của phần cứng cơ bản.


Tôi không nghĩ nó bị hạn chế một cách có chủ ý, nhưng nghĩ rằng, có lẽ, đó là một hạn chế của thiết kế.
swasheck

6
@swasheck Tôi không nghĩ có thể thiết kế một hệ thống tập tin sẽ không truyền dữ liệu nhanh gấp đôi nếu bạn có bộ xử lý nhanh gấp đôi và có thể đọc đĩa nhanh gấp đôi và có thể tìm kiếm nhanh gấp đôi. Ngay cả thiết kế kém hiệu quả nhất có thể được thực hiện nhanh hơn bằng cách làm cho mọi thứ nó sử dụng nhanh hơn.
Random832
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.