Tại sao nên so sánh tổng kiểm tra khi tải xuống một tệp?

Các trang web cung cấp các tệp ISO để tải xuống thường sẽ cung cấp tổng kiểm tra md5 của các tệp đó, chúng tôi có thể sử dụng để xác nhận rằng tệp đã được tải xuống chính xác và không bị hỏng.

Tại sao điều này là cần thiết? Chắc chắn các thuộc tính sửa lỗi của TCP là đủ. Nếu một gói không được nhận chính xác, nó sẽ được truyền lại. Không phải bản chất của kết nối TCP / IP đảm bảo tính toàn vẹn dữ liệu?

Như đã được lưu ý bởi những người khác, có rất nhiều khả năng tham nhũng dữ liệu trong đó mọi kiểm tra ở tầng vận chuyển đều không thể giúp được, chẳng hạn như tham nhũng đã xảy ra trước khi tổng kiểm tra được tính ở phía gửi, một MITM chặn và sửa đổi luồng (dữ liệu cũng vậy như tổng kiểm tra), tham nhũng xảy ra sau khi xác nhận tổng kiểm tra ở cuối nhận, v.v.

Nếu chúng ta bỏ qua tất cả các khả năng khác này và tập trung vào các chi tiết cụ thể của chính tổng kiểm tra TCP và những gì nó thực sự làm về mặt xác thực tính toàn vẹn dữ liệu, thì hóa ra các thuộc tính của tổng kiểm tra này hoàn toàn không có khả năng phát hiện lỗi. Cách thuật toán tổng kiểm tra này được chọn thay vì phản ánh yêu cầu về tốc độ kết hợp với khoảng thời gian (cuối những năm 1970).

Đây là cách tính tổng kiểm tra TCP :

Tổng kiểm tra: 16 bit

Trường tổng kiểm tra là phần bổ sung 16 bit của một phần tổng của tất cả các từ 16 bit trong tiêu đề và văn bản. Nếu một phân đoạn chứa một số lượng lớn các octet tiêu đề và văn bản cần kiểm tra, octet cuối cùng được đệm ở bên phải với các số 0 để tạo thành một từ 16 bit cho mục đích tổng kiểm tra. Các pad không được truyền đi như là một phần của phân khúc. Trong khi tính toán tổng kiểm tra, trường tổng kiểm tra được thay thế bằng số không.

Điều này có nghĩa là bất kỳ tham nhũng nào cân bằng khi tổng hợp dữ liệu theo cách này sẽ không bị phát hiện. Có một số loại tham nhũng đối với dữ liệu mà điều này sẽ cho phép nhưng chỉ là một ví dụ tầm thường: thay đổi thứ tự của các từ 16 bit sẽ luôn không bị phát hiện.

Trong thực tế, nó bắt được nhiều lỗi điển hình nhưng hoàn toàn không đảm bảo tính toàn vẹn. Điều này cũng được hỗ trợ bằng cách lớp L2 cũng kiểm tra tính toàn vẹn (ví dụ CRC32 của khung Ethernet), mặc dù chỉ truyền trên liên kết cục bộ và nhiều trường hợp dữ liệu bị hỏng thậm chí không được chuyển đến ngăn xếp TCP.

Xác thực dữ liệu bằng cách sử dụng hàm băm mạnh, hoặc tốt nhất là chữ ký mã hóa, ở một cấp độ hoàn toàn khác về mặt đảm bảo tính toàn vẹn dữ liệu. Cả hai thậm chí có thể được so sánh.

Có lẽ có hàng trăm lý do tại sao người ta nên kiểm tra md5sum nhưng một số ít xuất hiện trong tâm trí của tôi:

• Hoạt động độc hại - ISO của bạn có thể đã bị can thiệp trên đường từ máy chủ
• Bản thân trang này bị giả mạo (tốt nhất là cũng nên ký md5sums :))
• Tải xuống bị hỏng (mặc dù đã sửa lỗi TCP) (kiểm tra điều này )
• ISO bị cháy không chính xác

Và dù sao cũng chỉ mất vài giây.

TCP / IP đảm bảo tính toàn vẹn dữ liệu *. Nhưng nó không đảm bảo rằng 100% tệp đã được tải xuống. Có thể có nhiều lý do tại sao điều này có thể xảy ra. Ví dụ: Có thể bạn có thể gắn ISO mà thiếu một hoặc hai byte ở giữa. Bạn sẽ không gặp vấn đề gì với nó cho đến khi bạn cần một hoặc hai tệp cụ thể bị hỏng. So sánh tổng kiểm tra đảm bảo rằng bạn thực sự đã tải xuống toàn bộ tệp.

* xem bình luận

Tổng kiểm tra TCP chỉ có 16 bit. Điều này có nghĩa là, trong trường hợp không có tổng kiểm tra khác, một trong số 65536 gói bị hỏng sẽ được chấp nhận là không bị hỏng. Ví dụ: nếu bạn đang tải xuống một hình ảnh DVD 8GB qua một liên kết ồn ào với tỷ lệ tham nhũng 1%, bạn sẽ mong đợi 81 gói bị hỏng không thể phát hiện được.

MD5 là tổng kiểm tra lớn hơn nhiều, ở mức 128 bit. Tỷ lệ cược của 81 gói sản xuất một cái gì đó có cùng tổng kiểm tra như ban đầu là khoảng 1 trên 1.000.000.000.000.000.000.000.000.000.000.000.

Có một số lý do để xác minh tổng kiểm tra của tệp được tải xuống qua HTTP:

• Đảm bảo bạn đã nhận được toàn bộ tệp
  • Một số khách hàng, chẳng hạn như Firefox , có thể coi kết nối bị gián đoạn là tải xuống thành công, để lại cho bạn một tệp bị cắt bớt nhưng cho rằng nó đã tải xuống OK
• Đảm bảo bạn nhận được đúng tệp
  • ví dụ: máy chủ bị lỗi, bị xâm nhập hoặc độc hại có thể gửi cho bạn thứ khác
  • ai đó có thể can thiệp vào việc chuyển tiền (tấn công trung gian) - ngay cả HTTPS cũng không an toàn nếu điều này bị hệ thống của bạn xâm phạm, ví dụ như Superfish, hoặc phương thức mã hóa được sử dụng là yếu
  • Họ cũng có thể chỉ giới thiệu cho bạn một trang tải xuống sai, vì vậy bạn thậm chí không được kết nối với máy chủ thực (nhưng trong trường hợp này, tổng kiểm tra sẽ không giúp ích nhiều nếu bạn lấy chúng từ cùng một máy chủ giả)
  • Một số ISP đã bị bắt khi đưa Javascript vào các trang truyền tải vì nhiều lý do ¹ ; tùy thuộc vào mức độ được thực hiện, nó cũng có thể tải xuống một số tệp tải xuống
  • Một nhân bản có thể lưu trữ một phiên bản lỗi thời của tệp hoặc quản trị viên có thể đã tải lên tệp sai
• Đảm bảo tệp không bị hỏng bởi thứ mà TCP không thể phát hiện
  • ví dụ: tệp có thể bị hỏng trên máy chủ, do đó TCP sẽ chỉ đảm bảo rằng tệp đã bị hỏng không được xử lý thêm khi truyền
  • hoặc nó có thể bị hỏng sau khi đến cuối, do bộ nhớ / đĩa bị lỗi, trình điều khiển hệ thống tập tin bị lỗi, v.v.
  • Tổng kiểm tra TCP chỉ có 16 bit, do đó, cơ hội không phải là thiên văn (1 trong 65536) rằng gói tin bị hỏng sẽ không được phát hiện
• Với ISO, đảm bảo rằng đĩa được ghi chính xác

¹ nguồn bình luận vì đại diện lol

Daniel, Tùy thuộc vào công cụ bạn đang sử dụng cho Tải xuống ISO mỗi lần nói. Nếu là Say Firefox .. Nó có thể hiển thị tải xuống tệp. Tuy nhiên, bạn có thể không còn nguyên vẹn ISO. Nếu bạn ghi nó thì hãy thử sử dụng nó, thông tin có thể bị thiếu. Điều này xảy ra theo thời gian trên các máy chủ lưu trữ web khác nhau lưu trữ các tập tin.

Đó là một thực hành tốt để ít nhất so sánh kích thước tệp (tổng số byte hoặc bit) để đảm bảo chúng khớp. Windows sẽ hiển thị số byte tệp khác nhau, sau đó nói Linux. Kiểm tra tổng MD5 sẽ hiển thị cùng các giá trị không có hệ điều hành nào được sử dụng. Mong cái này giúp được chút ít. Chúc mừng ...

Tôi nhận thấy rất nhiều câu trả lời thú vị nhưng có một điều cuối cùng cần xem xét: Vấn đề của hai vị tướng

Vấn đề hai tướng và vấn đề Byzantine Generals xem xét cụ thể ý nghĩa của việc chuyển thông tin đáng tin cậy thông qua các kênh không đáng tin cậy.

Tổng kiểm tra chỉ là một lớp khác của "tăng độ tin cậy", và một lớp có khả năng thất bại rất nhỏ. Đây là lý do tại sao nó rất phổ biến.