MD5 vẫn đủ tốt để xác định các tệp duy nhất?

Có phải băm MD5 một tệp vẫn được coi là một phương pháp đủ tốt để xác định duy nhất nó với tất cả các vi phạm thuật toán MD5 và các vấn đề bảo mật, v.v.? Bảo mật không phải là mối quan tâm chính của tôi ở đây, nhưng xác định duy nhất mỗi tệp là.

Có suy nghĩ gì không?

Đúng. MD5 đã bị phá vỡ hoàn toàn từ góc độ bảo mật, nhưng khả năng xảy ra va chạm do tai nạn vẫn rất nhỏ. Chỉ cần chắc chắn rằng các tệp không được tạo bởi người mà bạn không tin tưởng và người có thể có mục đích xấu.

Đối với các mục đích thực tế, hàm băm được tạo ra có thể là ngẫu nhiên phù hợp, nhưng về mặt lý thuyết luôn có xác suất xảy ra va chạm, do nguyên tắc Pigeonhole . Có các giá trị băm khác nhau chắc chắn có nghĩa là các tệp khác nhau, nhưng nhận được cùng một hàm băm không nhất thiết có nghĩa là các tệp giống hệt nhau.

Sử dụng hàm băm cho mục đích đó - bất kể bảo mật có phải là vấn đề đáng lo ngại hay không - do đó, luôn luôn chỉ là bước đầu tiên của kiểm tra, đặc biệt là nếu thuật toán băm được biết là dễ dàng tạo ra xung đột. Để tìm ra một cách đáng tin cậy nếu hai tệp có cùng hàm băm khác nhau, bạn sẽ phải so sánh các tệp đó theo từng byte.

MD5 sẽ đủ tốt nếu bạn không có đối thủ. Tuy nhiên, ai đó có thể (cố tình) tạo hai tệp riêng biệt băm đến cùng một giá trị (đó gọi là xung đột) và điều này có thể hoặc không thể là một vấn đề, tùy thuộc vào tình huống chính xác của bạn.

Vì việc biết các điểm yếu MD5 đã biết có áp dụng cho một bối cảnh cụ thể hay không là một vấn đề tế nhị, nên không nên sử dụng MD5. Sử dụng hàm băm chống va chạm (SHA-256 hoặc SHA-512) là câu trả lời an toàn. Ngoài ra, sử dụng MD5 là quan hệ công chúng xấu (nếu bạn sử dụng MD5, hãy chuẩn bị để tự biện minh cho mình; trong khi không ai sẽ hỏi bạn về việc sử dụng SHA-256).

Một md5 có thể tạo ra va chạm. Về mặt lý thuyết, mặc dù rất khó xảy ra, một triệu tệp liên tiếp có thể tạo ra cùng một hàm băm. Đừng kiểm tra vận may của bạn và kiểm tra va chạm md5 trước khi lưu trữ giá trị.

Cá nhân tôi thích tạo md5 các chuỗi ngẫu nhiên, giúp giảm chi phí băm các tệp lớn. Khi va chạm được tìm thấy, tôi lặp lại và băm lại với bộ đếm vòng lặp được nối thêm.

Bạn có thể đọc trên nguyên tắc pigeonhole .

Tôi sẽ không đề nghị nó. Nếu ứng dụng hoạt động trên hệ thống nhiều người dùng, có thể có người dùng, sẽ có hai tệp có cùng hàm băm md5 (anh ta có thể là kỹ sư và chơi với các tệp đó hoặc chỉ tò mò - chúng có thể dễ dàng tải xuống từ http: / /www2.mat.dtu.dk/people/S.Thomsen/wangmd5/samples.html , bản thân tôi trong khi viết câu trả lời này đã tải xuống hai mẫu). Một điều nữa là, một số ứng dụng có thể lưu trữ các bản sao như vậy vì bất kỳ lý do gì (tôi không chắc chắn, nếu có bất kỳ ứng dụng nào như vậy nhưng khả năng tồn tại).

Nếu bạn xác định duy nhất các tệp được tạo bởi chương trình của mình, tôi sẽ nói rằng sử dụng MD5 là ổn. Mặt khác, tôi muốn giới thiệu bất kỳ hàm băm nào khác, nơi chưa có va chạm nào được biết đến.

Cá nhân tôi nghĩ rằng mọi người sử dụng tổng kiểm tra thô (chọn phương thức của bạn) của các đối tượng khác để hoạt động như các định danh duy nhất quá nhiều khi họ thực sự muốn làm là có các định danh duy nhất. Lấy dấu vân tay một đối tượng cho việc sử dụng này không phải là mục đích và có khả năng đòi hỏi phải suy nghĩ nhiều hơn là sử dụng cơ chế toàn vẹn uuid hoặc tương tự.

MD5 đã bị hỏng, thay vào đó bạn có thể sử dụng SHA1 (được triển khai bằng hầu hết các ngôn ngữ)

Khi băm ngắn (<một vài K?) Chuỗi (hoặc tệp), người ta có thể tạo hai khóa băm md5, một cho chuỗi thực tế và một chuỗi thứ hai để đảo ngược chuỗi được nối với một chuỗi không đối xứng ngắn. Ví dụ: md5 (đảo ngược (chuỗi | | '1010')). Việc thêm chuỗi bổ sung đảm bảo rằng ngay cả các tệp bao gồm một chuỗi các bit giống hệt nhau tạo ra hai khóa khác nhau. Xin hiểu rằng ngay cả trong sơ đồ này, có khả năng về mặt lý thuyết là hai khóa băm giống hệt nhau cho các chuỗi không giống nhau, nhưng xác suất có vẻ rất nhỏ - thứ gì đó theo thứ tự bình phương của xác suất va chạm md5 và tiết kiệm thời gian có thể là đáng kể khi số lượng tập tin đang tăng lên. Đề án phức tạp hơn để tạo chuỗi thứ hai cũng có thể được xem xét,

Để kiểm tra sự va chạm, người ta có thể chạy thử nghiệm này về tính duy nhất của các khóa băm md5 cho tất cả các bit_vector trong db:

chọn md5 (bit_vector), đếm (*), bit_and (bit_vector) từ db với
nhóm bit_vector bởi md5 (bit_vector), bit_vector có bit_and (bit_vector) <> bit_vector

Tôi thích nghĩ về MD5 như một chỉ số xác suất khi lưu trữ một lượng lớn dữ liệu tệp.

Nếu các giá trị băm bằng nhau thì tôi biết tôi phải so sánh các tệp byte theo byte, nhưng điều đó có thể chỉ xảy ra một vài lần vì một lý do sai, nếu không (băm không bằng nhau) Tôi có thể chắc chắn rằng chúng ta đang nói về hai tệp khác nhau .