Câu hỏi này được lấy cảm hứng từ https://superuser.com/questions/374386/how-to-store-and-preserve-lots-of-data . Đã có những câu hỏi tương tự khác, nhưng không có câu hỏi nào có cùng tiêu chí.

Đây là hai câu hỏi trong một.

1. Làm thế nào để bạn lưu trữ các hồ sơ tài chính / quan trọng có thể tồn tại bất cứ thứ gì trừ một đám cháy và sẽ có sẵn trong nhiều thập kỷ?
2. Hãy nói rằng tôi muốn lưu trữ ảnh / video gia đình và muốn mọi người có thể tìm thấy chúng trong kho 100 năm kể từ bây giờ và vẫn có thể sử dụng chúng. Làm thế nào điều này sẽ được thực hiện?

Tiêu chí

1. Dài hạn có nghĩa là hơn 30 năm được đảm bảo . Trung bình hơn 100 năm. [Nếu điều này không thực tế, hãy sử dụng giải pháp gần nhất]
2. Âm lượng cao có nghĩa là một vài terabyte.
3. Câu trả lời có thể là giải pháp 'không thỏa hiệp / công nghiệp' hoặc giải pháp thiết thực cho văn phòng tại nhà / người dùng doanh nghiệp nhỏ.
4. Phương tiện truyền thông sẽ không hoạt động trong thời gian. (nghĩa là, nếu bạn đề xuất ổ đĩa cứng, chúng sẽ không quay).
5. Hơn nữa, không có kỳ vọng cần phải đọc những tài liệu lưu trữ này. Họ ở đó để cấp cứu hoặc "cho các thế hệ tương lai".
6. Không nên yêu cầu bảo trì (nếu có thể).

Suy nghĩ của tôi:

1. CD-R / DVD-R đã được chứng minh với tôi, ngay cả trong thời gian ngắn, là một phương tiện khủng khiếp để sao lưu. Chúng dường như rất mong manh và dường như mất dữ liệu trong một thời gian rất ngắn ngay cả khi trong tình trạng nguyên sơ.
2. Tôi không thể không nghĩ rằng việc lưu trữ dữ liệu trên một vài hdd và sau đó hy vọng chúng sẽ quay vòng đúng một hoặc hai thập kỷ sau đó sẽ là một ý tưởng tồi tệ. Tôi có lầm không?
3. Ổ đĩa băng công nghiệp có vẻ như là một lựa chọn khả thi?

Giấy

Khác với mực lưu trữ trên giấy lưu trữ trong kho lưu trữ kín, không có phương tiện hiện tại nào được chứng minh là tồn tại trung bình 100 năm mà không cần bất kỳ loại bảo trì nào.

Giấy lưu trữ

Giấy cũ được làm từ các vật liệu như vải lanh và cây gai dầu, và do đó có tính kiềm tự nhiên. hoặc không có axit, do đó kéo dài hàng trăm năm. Giấy thế kỷ 20 và giấy hiện đại nhất thường được làm từ bột gỗ, thường có tính axit và không giữ được trong thời gian dài.

Mực lưu trữ

Những loại mực vĩnh viễn, không phai này có khả năng chống lại ánh sáng, nhiệt và nước và không chứa tạp chất có thể ảnh hưởng đến sự lâu dài của giấy hoặc các vật liệu ảnh. Mực đen Actinic ổn định về mặt hóa học và có sắc tố vô cơ không có xu hướng hấp thụ các tạp chất như các sắc tố mực khác có thể.

Lưu trữ dự phòng

Torvalds từng nói

Chỉ các wimps sử dụng sao lưu băng từ: _real_ đàn ông chỉ cần tải lên những thứ quan trọng của họ trên ftp và để phần còn lại của thế giới phản chiếu nó

Điều đó cho thấy bạn không nên dựa vào một bản sao trên một phương tiện.

Không phải phương tiện truyền thông từ tính?

http://www.zdnet.com/blog/perlow/the-bell-tolls-for-your-mag từ-media / 9364? tag = content; siu-container

• Ví dụ điển hình về sự xuống cấp không thể khắc phục của phương tiện truyền thông từ tính.
• Các vấn đề về phần cứng và phần mềm (và định dạng dữ liệu)

Không phải hệ thống chuyên biệt

Vào năm 2002, đã có những lo ngại lớn rằng các đĩa sẽ trở nên không thể đọc được vì các máy tính có khả năng đọc định dạng đã trở nên hiếm và các ổ có khả năng truy cập vào các đĩa thậm chí còn hiếm hơn. Ngoài khó khăn trong việc mô phỏng mã gốc, một vấn đề lớn là các hình ảnh tĩnh đã được lưu trữ trên đĩa laser dưới dạng video tương tự khung đơn,

http://en.wikipedia.org/wiki/BBC_Domesday_Project#Preservation

Lưu trữ cá nhân dài hạn

http://www.zdnet.com/blog/st Storage / long-term-personal-data-st Storage / 376

• cả phương tiện VÀ định dạng có thể trở nên không thể đọc được.
• in trên giấy không chứa axit bằng mực bột màu và lưu trữ ở nơi khô, mát và tối.
• Vấn đề đầu tiên là chọn định dạng dữ liệu để có tuổi thọ tối đa.
• Tránh sử dụng các định dạng độc quyền
• USCSF đang chuyển tất cả các băng gốc của họ - nhiều định dạng đã lỗi thời như BetaSP và VHS - sang định dạng 75Mbit motionJPEG2000

Câu trả lời ngắn

Không thể đảm bảo khung thời gian dài vì entropy (còn gọi là cái chết!). Dữ liệu số bị phân rã và chết, giống như bất kỳ thứ gì khác trong vũ trụ. Nhưng nó có thể bị chậm lại.

Hiện tại không có cách nào chứng minh thất bại và được chứng minh khoa học để đảm bảo hơn 30 năm lưu trữ dữ liệu lạnh. Một số dự án đang hướng tới mục tiêu đó, như dự án Rosetta Disks của bảo tàng Long Now , mặc dù chúng vẫn rất tốn kém và mật độ dữ liệu thấp (khoảng 50 MB).

Trong thời gian này, bạn có thể sử dụng các phương tiện quang có khả năng phục hồi đã được khoa học chứng minh cho việc lưu trữ lạnh như loại đĩa Blu-ray HTL như của Panasonic, hoặc DVD lưu trữ loại DVD + R như Verbatim Gold Archival, và giữ chúng trong các hộp kín trong không khí (tránh nhiệt độ cao) và ra khỏi ánh sáng.

Đồng thời GIẢM GIÁ : Tạo nhiều bản sao dữ liệu của bạn (ít nhất là 4) và tính toán băm để kiểm tra thường xuyên rằng mọi thứ đều ổn và cứ sau vài năm bạn nên viết lại dữ liệu của mình trên các đĩa mới. Ngoài ra, sử dụng nhiều mã sửa lỗi , chúng sẽ cho phép bạn sửa chữa dữ liệu bị hỏng của bạn!

Câu trả lời dài

Tại sao dữ liệu bị hỏng theo thời gian? Câu trả lời nằm trong một từ: entropy . Đây là một trong những lực lượng chính và không thể tránh khỏi của vũ trụ, khiến cho các hệ thống ngày càng ít được sắp xếp theo thời gian. Tham nhũng dữ liệu chính xác là: một rối loạn theo thứ tự bit. Nói cách khác, Vũ trụ ghét dữ liệu của bạn .

Chiến đấu với entropy giống hệt như chiến đấu với cái chết: bạn sẽ không bao giờ thành công. Nhưng, bạn có thể tìm cách để làm chậm cái chết, giống như bạn có thể làm chậm entropy. Bạn cũng có thể lừa entropy bằng cách sửa chữa các lỗi (nói cách khác: bạn không thể dừng các hỏng, nhưng bạn có thể sửa chữa sau khi chúng xảy ra nếu bạn thực hiện các biện pháp trước đó!). Giống như bất cứ điều gì về sự sống và cái chết, không có viên đạn ma thuật, cũng không có một giải pháp nào cho tất cả, và các giải pháp tốt nhất đòi hỏi bạn phải trực tiếp tham gia vào việc quản lý kỹ thuật số dữ liệu của mình. Và ngay cả khi bạn làm mọi thứ chính xác, bạn không được đảm bảo giữ an toàn cho dữ liệu của mình, bạn chỉ tối đa hóa cơ hội của mình.

Bây giờ là tin tốt: hiện có những cách khá hiệu quả để giữ dữ liệu của bạn, nếu bạn kết hợp các phương tiện lưu trữ chất lượng tốt và chiến lược lưu trữ / quản lý tốt : bạn nên thiết kế cho thất bại .

Chiến lược giám tuyển tốt là gì? Hãy nói thẳng một điều: hầu hết các thông tin bạn sẽ tìm thấy sẽ là về các bản sao lưu, không phải về lưu trữ. Vấn đề là hầu hết mọi người sẽ chuyển kiến ​​thức của họ về các chiến lược sao lưu sang lưu trữ, và do đó, rất nhiều huyền thoại hiện đang được nghe thấy. Thật vậy, lưu trữ dữ liệu trong một vài năm (sao lưu) và lưu trữ dữ liệu trong thời gian dài nhất có thể kéo dài hàng thập kỷ ít nhất (lưu trữ) là những mục tiêu hoàn toàn khác nhau, do đó đòi hỏi các công cụ và chiến lược khác nhau.

May mắn thay, có khá nhiều kết quả nghiên cứu và khoa học, vì vậy tôi khuyên bạn nên tham khảo những bài báo khoa học đó hơn là trên các diễn đàn hoặc tạp chí. Ở đây, tôi sẽ tóm tắt một số bài đọc của tôi.

Ngoài ra, hãy cảnh giác với các tuyên bố và các nghiên cứu khoa học không độc lập , cho rằng phương tiện lưu trữ như vậy hoặc như vậy là hoàn hảo. Hãy nhớ dự án nổi tiếng của BBC Domesday: «Sách Domesday kỹ thuật số kéo dài 15 năm chứ không phải 1000» . Luôn kiểm tra kỹ các nghiên cứu với các bài báo thực sự độc lập và nếu không có, luôn cho rằng phương tiện lưu trữ không tốt cho việc lưu trữ.

Hãy làm rõ những gì bạn đang tìm kiếm (từ câu hỏi của bạn):

• Lưu trữ dài hạn : bạn muốn giữ các bản sao của dữ liệu "cá nhân" hợp lý, không thể cung cấp của bạn. Lưu trữ về cơ bản khác với sao lưu , cũng được giải thích ở đây : các bản sao lưu dành cho dữ liệu kỹ thuật động thường xuyên được cập nhật và do đó cần được làm mới thành các bản sao lưu (ví dụ: HĐH, bố cục thư mục công việc, v.v.), trong khi lưu trữ là dữ liệu tĩnh bạn có thể sẽ chỉ viết một lần và chỉ đọc theo thời gian . Tài liệu lưu trữ dành cho dữ liệu nội bộ , thường là cá nhân.

• Kho lạnh : bạn muốn tránh bảo trì dữ liệu lưu trữ của mình càng nhiều càng tốt. Đây là một hạn chế LỚN, vì nó có nghĩa là phương tiện phải sử dụng các thành phần và phương pháp viết ổn định trong một thời gian rất dài, không có bất kỳ thao tác nào từ phía bạn và không yêu cầu bất kỳ kết nối nào với máy tính hoặc nguồn điện.

Để dễ dàng phân tích, trước tiên chúng ta hãy nghiên cứu các giải pháp lưu trữ lạnh, và sau đó là các chiến lược lưu trữ dài hạn.

Phương tiện bảo quản lạnh

Chúng tôi đã xác định ở trên phương tiện lưu trữ lạnh tốt là gì: nó sẽ lưu giữ dữ liệu trong một thời gian dài mà không cần bất kỳ thao tác nào (đó là lý do tại sao nó được gọi là "lạnh": bạn chỉ có thể lưu trữ trong tủ và bạn không cần phải cắm vào một máy tính để duy trì dữ liệu).

Giấy có vẻ như là phương tiện lưu trữ linh hoạt nhất trên trái đất, bởi vì chúng ta thường tìm thấy bản thảo rất cũ từ thời cổ đại. Tuy nhiên, giấy bị nhược điểm lớn: đầu tiên, mật độ dữ liệu rất thấp (không thể lưu trữ hơn ~ 100 KB trên giấy, ngay cả với các ký tự nhỏ và công cụ máy tính) và nó xuống cấp theo thời gian mà không có cách nào để theo dõi nó: giấy , giống như ổ cứng, bị tham nhũng im lặng. Nhưng trong khi bạn có thể theo dõi các lỗi hỏng thầm lặng trên dữ liệu số, bạn không thể trên giấy. Ví dụ: bạn không thể đảm bảo rằng một hình ảnh sẽ giữ lại các màu giống nhau chỉ sau một thập kỷ: màu sắc sẽ xuống cấp và bạn không có cách nào để tìm thấy màu gốc là gì. Tất nhiên, bạn có thể giám tuyển hình ảnh của bạn nếu bạn là một chuyên gia phục hồi hình ảnh, nhưng điều này rất tốn thời gian, trong khi với dữ liệu kỹ thuật số, bạn có thể tự động hóa quy trình giám tuyển và phục hồi này.

Ổ cứng (HDD) được biết là có tuổi thọ trung bình từ 3 đến 8 năm: chúng không bị suy giảm theo thời gian, chúng được đảm bảo cuối cùng sẽ chết (nghĩa là không thể truy cập được). Các đường cong sau đây cho thấy xu hướng này cho tất cả các ổ cứng bị chết với tốc độ đáng kinh ngạc:

Đường cong bồn tắm cho thấy sự phát triển của tỷ lệ lỗi ổ cứng do loại lỗi (cũng có thể áp dụng cho mọi thiết bị được thiết kế):

Đường cong hiển thị tỷ lệ lỗi ổ cứng, tất cả các loại lỗi được hợp nhất:

Nguồn: Backblaze

Bạn có thể thấy rằng có 3 loại ổ cứng tương đối thất bại: loại chết nhanh (ví dụ: lỗi sản xuất, ổ cứng chất lượng kém, hỏng đầu, v.v.), loại có tốc độ chết liên tục (sản xuất tốt, chúng chết vì nhiều loại khác nhau " "lý do bình thường, đây là trường hợp của hầu hết các ổ cứng), và cuối cùng là những ổ cứng mạnh hơn một chút so với hầu hết các ổ cứng và cuối cùng sẽ chết ngay sau khi" ổ cứng bình thường "(ví dụ: ổ cứng may mắn, không được sử dụng quá nhiều, điều kiện môi trường lý tưởng, vv ..). Vì vậy, bạn được đảm bảo rằng ổ cứng của bạn sẽ chết.

Tại sao ổ cứng chết thường xuyên như vậy? Ý tôi là, dữ liệu được ghi trên một đĩa từ tính và từ trường có thể tồn tại hàng thập kỷ trước khi mất dần. Lý do chúng chết là vì phương tiện lưu trữ (đĩa từ) và phần cứng đọc (bảng điện tử + đầu quay) được ghép nối : chúng không thể tách rời, trước tiên bạn không thể trích xuất đĩa từ và đọc nó bằng đầu khác bảng điện tử (chuyển đổi dữ liệu vật lý thành kỹ thuật số) khác nhau đối với hầu hết mỗi ổ cứng (thậm chí của cùng một thương hiệu và tham chiếu, nó phụ thuộc vào nhà máy sản xuất) và cơ chế bên trong với đầu quay rất phức tạp mà ngày nay không thể để con người đặt đầu quay một cách hoàn hảo vào các đĩa từ mà không làm chết chúng.

Ngoài ra, ổ cứng được biết là sẽ khử từ theo thời gian nếu không được sử dụng (bao gồm cả SSD). Do đó, bạn không thể lưu trữ dữ liệu trên đĩa cứng, lưu trữ trong tủ quần áo và nghĩ rằng nó sẽ lưu giữ dữ liệu mà không cần kết nối điện: bạn cần cắm ổ cứng vào nguồn điện ít nhất một lần mỗi năm hoặc mỗi vài năm . Vì vậy, ổ cứng rõ ràng không phù hợp để lưu trữ lạnh.

Băng từ : chúng thường được mô tả là nhu cầu sao lưu và mở rộng để lưu trữ. Vấn đề với băng từ là chúng rất nhạy cảm: các hạt oxit từ tính có thể dễ dàng bị hư hỏng bởi ánh nắng mặt trời, nước, không khí, vết trầy xước, bị khử từ thời gian hoặc bất kỳ thiết bị điện từ nào hoặc rơi ra theo thời gian hoặc in qua . Đó là lý do tại sao chúng thường chỉ được sử dụng trong các trung tâm dữ liệu bởi các chuyên gia. Ngoài ra, chưa bao giờ được chứng minh rằng họ có thể giữ lại dữ liệu hơn một thập kỷ. Vì vậy, tại sao họ thường được khuyên để sao lưu? Bởi vì trước đây chúng rất rẻ: trước đây, chi phí sử dụng băng từ rẻ hơn từ 10 đến 100 lần so với ổ cứng và ổ cứng có xu hướng ổn định hơn rất nhiều so với bây giờ. Vì vậy, băng từ chủ yếu được khuyên dùng để sao lưu vì hiệu quả chi phí, không phải vì khả năng phục hồi, đó là điều khiến chúng ta quan tâm nhất khi lưu trữ dữ liệu.

Thẻ CompactFlash và Secure Digital (SD) được biết đến là khá mạnh mẽ và mạnh mẽ, có thể sống sót trong điều kiện thảm khốc .

Thẻ nhớ trong hầu hết các máy ảnh hầu như không thể phá hủy, được tìm thấy trên tạp chí Digital Camera Shopper. Năm định dạng thẻ nhớ sống sót được đun sôi, chà đạp, rửa và nhúng trong cà phê hoặc cola.

Tuy nhiên, như bất kỳ phương tiện dựa trên từ tính nào khác, nó dựa vào một trường điện để giữ lại dữ liệu và do đó, nếu thẻ hết nước, dữ liệu có thể bị mất hoàn toàn. Do đó, không phải là một thiết bị hoàn hảo cho việc lưu trữ lạnh (vì bạn cần thỉnh thoảng viết lại toàn bộ dữ liệu trên thẻ để làm mới điện trường), nhưng nó có thể là phương tiện tốt để sao lưu và lưu trữ ngắn hạn hoặc trung hạn.

Phương tiện quang học: Phương tiện quang học là một loại phương tiện lưu trữ dựa vào laser để đọc dữ liệu, như CD, DVD hoặc Blu-ray (BD). Đây có thể được coi là một sự tiến hóa của giấy, nhưng chúng tôi viết dữ liệu với kích thước rất nhỏ, chúng tôi cần một vật liệu chính xác và đàn hồi hơn giấy và các đĩa quang chỉ có thế. Hai ưu điểm lớn nhất của phương tiện quang là phương tiện lưu trữ được tách rời khỏi phần cứng đọc (nghĩa là, nếu đầu đọc DVD của bạn bị lỗi, bạn luôn có thể mua một cái khác để đọc đĩa của mình) và nó dựa trên laser, làm cho nó trở nên phổ biến và bằng chứng trong tương lai (nghĩa là, miễn là bạn biết cách tạo ra tia laser, bạn luôn có thể điều chỉnh nó để đọc các bit của đĩa quang bằng cách mô phỏng, giống như CAMILEON đã làm cho Dự án Domesday BBC ).

Giống như bất kỳ công nghệ nào, các lần lặp mới không chỉ cung cấp mật độ lớn hơn (phòng lưu trữ), mà còn sửa lỗi tốt hơn và khả năng phục hồi tốt hơn trước sự phân rã của môi trường (không phải luôn luôn, nhưng nói chung là đúng). Cuộc tranh luận đầu tiên về độ tin cậy của DVD là giữa DVD-R và DVD + R và ngay cả khi DVD-R vẫn còn phổ biến hiện nay, DVD + R được công nhận là đáng tin cậy và chính xác hơn . Hiện tại có các đĩa DVD cấp lưu trữ, được sản xuất dành riêng cho kho lạnh, tuyên bố rằng chúng có thể chịu được tối thiểu ~ 20 năm mà không cần bảo trì:

Verbatim Gold Archival DVD-R [...] đã được đánh giá là DVD-R đáng tin cậy nhất trong một bài kiểm tra căng thẳng dài hạn của tạp chí c't nổi tiếng của Đức (c. 16/2008, trang 116-123 ) [...] đạt được độ bền tối thiểu là 18 năm và độ bền trung bình từ 32 đến 127 năm (ở 25C, độ ẩm 50%). Không có đĩa nào khác đến gần với các giá trị này, DVD-R tốt thứ hai có độ bền tối thiểu chỉ 5 năm.

Từ LinuxTech.net .

Hơn nữa, một số công ty chuyên lưu trữ DVD rất dài hạn và tiếp thị rộng rãi chúng, như M-Disc từ Millenniata hoặc DataTresorDisc, tuyên bố rằng họ có thể giữ dữ liệu trong hơn 1000 năm và được xác minh bởi một số nghiên cứu ( không độc lập) (từ 2009) trong số những người kém khoa học .

Tất cả điều này có vẻ rất hứa hẹn! Thật không may, không có đủ các nghiên cứu khoa học độc lập để xác nhận những tuyên bố này, và một số ít có sẵn không quá nhiệt tình:

Độ ẩm (80% rh) và nhiệt độ (80 ° C) tăng tốc độ lão hóa trên một số DVD trong hơn 2000 giờ (khoảng 83 ngày) thử nghiệm với việc kiểm tra thường xuyên khả năng đọc dữ liệu:

Dịch từ tổ chức tiếng Pháp để lưu trữ dữ liệu kỹ thuật số (Archives de France), nghiên cứu từ năm 2012.

Biểu đồ đầu tiên hiển thị DVD với sự phát triển xuống cấp chậm. DVD thứ hai với các đường cong xuống cấp nhanh chóng. Và cái thứ ba dành cho các DVD "rất dài hạn" đặc biệt như M-Disc và DataTresorDisc. Như chúng ta có thể thấy, hiệu suất của chúng không hoàn toàn phù hợp với các yêu cầu, thấp hơn hoặc ngang bằng với các DVD tiêu chuẩn, không lưu trữ!

Tuy nhiên, các đĩa quang vô cơ như M-Disc và DataTresorDisc có một lợi thế: chúng khá nhạy cảm với sự suy giảm ánh sáng:

Lão hóa nhanh bằng cách sử dụng ánh sáng (750 W / m2) trong 240 giờ:

Đây là những kết quả tuyệt vời, nhưng một DVD cấp lưu trữ như Verbatim Gold Archival cũng đạt được hiệu suất tương tự, và hơn nữa, ánh sáng là thông số có thể kiểm soát nhất đối với một đối tượng: khá dễ dàng để đặt DVD vào hộp kín hoặc tủ quần áo, và do đó loại bỏ bất kỳ tác động có thể có của ánh sáng. Sẽ hữu ích hơn nhiều khi có được một đĩa DVD rất bền với nhiệt độ và độ ẩm hơn ánh sáng.

Nhóm nghiên cứu này cũng đã nghiên cứu thị trường Blu-ray để xem liệu sẽ có bất kỳ thương hiệu nào có phương tiện tốt để lưu trữ lạnh lâu dài hay không. Đây là phát hiện của họ:

Độ ẩm và nhiệt độ tăng tốc độ lão hóa trên một số nhãn hiệu Blu-ray, theo cùng thông số như đối với DVD:

Ánh sáng tăng tốc lão hóa trên một số thương hiệu BluRays, cùng thông số:

Dịch từ nghiên cứu này của Archives de France, 2012.

Hai tóm tắt của tất cả các phát hiện (bằng tiếng Pháp) ở đây và ở đây .

Tốt, đĩa Blu-ray tốt nhất (từ Panasonic) hoạt động tương tự như đĩa DVD lưu trữ tốt nhất trong kiểm tra độ ẩm + nhiệt độ, trong khi hầu như không thể chịu được ánh sáng! Và đĩa Blu-ray này thậm chí không phải là lớp lưu trữ. Hơn nữa, các đĩa Blu-ray sử dụng mã sửa lỗi nâng cao hơn so với DVD (bản thân chúng sử dụng phiên bản nâng cao tương đối với CD), giúp giảm thiểu rủi ro mất dữ liệu. Vì vậy, có vẻ như một số đĩa BluRay có thể là một lựa chọn rất tốt cho việc lưu trữ lạnh.

Và thực tế, một số công ty đang bắt đầu làm việc ở cấp lưu trữ, đĩa Blu-ray lưu trữ mật độ cao như Panasonic và Sony, thông báo rằng họ sẽ có thể cung cấp dung lượng lưu trữ 300 GB đến 1TB với tuổi thọ trung bình là 50 năm. Ngoài ra, các công ty lớn đang chuyển hướng sang phương tiện quang học để lưu trữ lạnh (vì nó tiêu tốn ít tài nguyên hơn vì bạn có thể lưu trữ lạnh mà không cần cung cấp điện), chẳng hạn như Facebook đã phát triển một hệ thống robot để sử dụng đĩa Blu-ray là "lạnh lưu trữ " cho dữ liệu hệ thống của họ hiếm khi truy cập.

Sáng kiến ​​lưu trữ của Long Now: Có những dẫn dắt thú vị khác như dự án Rosetta Disc của bảo tàng Long Now , đó là dự án viết các trang được thu nhỏ bằng kính hiển vi của Genesis bằng mọi ngôn ngữ trên trái đất mà Genesis đã dịch sang. Đây là một dự án tuyệt vời, là dự án đầu tiên cung cấp phương tiện cho phép lưu trữ 50 MB cho kho lạnh thực sự rất dài hạn (vì nó được viết bằng carbon) và với quyền truy cập trong tương lai vì bạn chỉ cần kính lúp để truy cập dữ liệu (không có thông số kỹ thuật định dạng kỳ lạ cũng như rắc rối công nghệ để xử lý như chùm tia tím của Blu-ray, chỉ cần một kính lúp!). Tuy nhiên, những thứ này vẫn được làm thủ công và do đó ước tính có giá khoảng 20 nghìn đô la, một chút quá nhiều cho một kế hoạch lưu trữ cá nhân mà tôi đoán.

Giải pháp dựa trên Internet: Tuy nhiên, một phương tiện khác để lưu trữ lạnh dữ liệu của bạn là qua mạng. Tuy nhiên, các giải pháp sao lưu đám mây không phù hợp, vì mối quan tâm chính hơn là các công ty lưu trữ đám mây có thể không tồn tại miễn là bạn muốn giữ dữ liệu của mình. Các lý do khác bao gồm thực tế là sao lưu chậm khủng khiếp (vì nó chuyển qua internet) và hầu hết các nhà cung cấp yêu cầu các tệp cũng tồn tại trên hệ thống của bạn để giữ chúng trực tuyến. Ví dụ: cả CrashPlan và Backblaze sẽ xóa vĩnh viễn các tệp mà ít nhất một lần nhìn thấy trên máy tính của bạn trong 30 ngày qua, vì vậy nếu bạn muốn tải lên dữ liệu sao lưu mà bạn chỉ lưu trữ trên ổ cứng ngoài, bạn sẽ phải cắm USB HDD ít nhất một lần mỗi tháng và đồng bộ hóa với đám mây của bạn để đặt lại bộ đếm ngược. Tuy nhiên, một số dịch vụ đám mây cung cấp để giữ các tệp của bạn vô thời hạn (miễn là bạn trả tiền tất nhiên) mà không cần đếm ngược, chẳng hạn như SpiderOak. Vì vậy, hãy cẩn thận với các điều kiện và cách sử dụng giải pháp sao lưu dựa trên đám mây bạn chọn.

Một giải pháp thay thế cho các nhà cung cấp sao lưu đám mây là thuê máy chủ riêng của bạn trực tuyến và nếu có thể, hãy chọn một máy chủ tự động sao lưu / sao lưu dữ liệu của bạn trong trường hợp có lỗi phần cứng (một vài người thậm chí còn đảm bảo bạn chống lại dữ liệu bị mất trong hợp đồng của họ , nhưng tất nhiên nó đắt hơn). Đây là một giải pháp tuyệt vời, thứ nhất vì bạn vẫn sở hữu dữ liệu của mình và thứ hai là vì bạn sẽ không phải quản lý các lỗi phần cứng, đây là trách nhiệm của máy chủ lưu trữ của bạn. Và nếu một ngày nào đó máy chủ của bạn ngừng hoạt động, bạn vẫn có thể lấy lại dữ liệu của mình (chọn một máy chủ nghiêm túc để họ không tắt máy trong đêm mà thông báo cho bạn trước, có thể bạn có thể yêu cầu đưa nó vào hợp đồng), và cải tạo ở nơi khác.

Nếu bạn không muốn gặp rắc rối khi thiết lập máy chủ trực tuyến riêng của mình và nếu bạn có đủ khả năng thì Amazon cung cấp dịch vụ lưu trữ dữ liệu mới, được gọi là Glacier . Mục đích chính xác là để lưu trữ dữ liệu của bạn lâu dài: do đó, sẽ tốn rất nhiều chi phí để lưu trữ dữ liệu trên Glacier, nhưng chi phí thậm chí còn nhiều hơn để lấy lại dữ liệu này, vì dịch vụ này được thực hiện để lưu trữ dữ liệu ngoài tầm với , không giữ dữ liệu mà bạn muốn thường xuyên truy cập. Điều này có nghĩa là dịch vụ này báo giá để ghi dữ liệu, nhưng cũng để đọc chúng. Dịch vụ này có chi phí rất lớn, nhưng nó có thể là một thỏa thuận tốt cho một số dữ liệu hợp lý nhất của bạn (ví dụ: nếu bạn có một vài tệp văn bản hoặc hình ảnh RẤT hợp lý, vì loại dữ liệu này thường có kích thước nhỏ, nó sẽ không tốn nhiều tiền để lưu trữ trong Glacier).

Thiếu sót của kho lạnh : Tuy nhiên, có một lỗ hổng lớn trong bất kỳ phương tiện lưu trữ lạnh nào: không có kiểm tra tính toàn vẹn, vì phương tiện lưu trữ lạnh CANNOT tự động kiểm tra tính toàn vẹn của dữ liệu (họ chỉ có thể thực hiện các sơ đồ sửa lỗi để "chữa lành" một chút thiệt hại sau khi tham nhũng xảy ra, nhưng không thể ngăn chặn cũng như tự động quản lý!) bởi vì, ngược lại với máy tính, không có đơn vị xử lý nào để tính toán / ghi nhật ký / kiểm tra và sửa hệ thống tệp. Trong khi với một máy tính và nhiều đơn vị lưu trữ, bạn có thể tự động kiểm tra tính toàn vẹn của tài liệu lưu trữ của bạn và tự động phản chiếu lên đơn vị khác nếu cần nếu xảy ra sự cố trong kho lưu trữ dữ liệu (miễn là bạn có nhiều bản sao của cùng một kho lưu trữ).

Lưu trữ dài hạn

Ngay cả với các công nghệ tốt nhất hiện có, dữ liệu kỹ thuật số chỉ có thể được lưu trữ lạnh trong một vài thập kỷ (khoảng 20 năm). Do đó, về lâu dài, bạn không thể chỉ dựa vào kho lạnh: bạn cần thiết lập một phương pháp cho quy trình lưu trữ dữ liệu của mình để đảm bảo rằng dữ liệu của bạn có thể được truy xuất trong tương lai (ngay cả khi có thay đổi công nghệ) và bạn giảm thiểu rủi ro mất dữ liệu của bạn. Nói cách khác, bạn cần trở thành người quản lý kỹ thuật số dữ liệu của mình, sửa chữa các lỗi khi chúng xảy ra và tạo lại các bản sao mới khi cần.

Không có quy tắc rõ ràng nào, nhưng đây là một vài chiến lược quản lý đã được thiết lập và đặc biệt là một công cụ ma thuật sẽ giúp công việc của bạn dễ dàng hơn:

• Nguyên tắc dự phòng / nhân rộng : Dự phòng là công cụ duy nhất có thể hoàn nguyên các tác động của entropy , đây là một nguyên tắc dựa trên lý thuyết thông tin. Để giữ dữ liệu, bạn cần sao chép dữ liệu này. Mã lỗi chính xác là một ứng dụng tự động của nguyên tắc dự phòng. Tuy nhiên, bạn cũng cần đảm bảo rằng dữ liệu của bạn là dự phòng: nhiều bản sao của cùng một dữ liệu trên các đĩa khác nhau, nhiều bản sao trên các phương tiện khác nhau (để nếu một phương tiện không thành công do sự cố nội tại, có rất ít khả năng các bản khác trên các phương tiện khác nhau cũng sẽ thất bại cùng một lúc), v.v. , bạn phải luôn có ít nhất 3 bản sao dữ liệu của mình, còn được gọi là dự phòng 3 mô-đun trong kỹ thuật, để nếu các bản sao của bạn bị hỏng, bạn có thể bỏ phiếu đa số đơn giản để sửa chữa các tệp của mình từ 3 bản sao. Luôn nhớ lời khuyên la bàn của thủy thủ:

Việc mang hai la bàn là vô ích, bởi vì nếu một sai, bạn không bao giờ có thể biết cái nào đúng, hoặc nếu cả hai đều sai. Luôn lấy một la bàn, hoặc nhiều hơn ba.

• Lỗi sửa mã : đây là công cụ kỳ diệu sẽ giúp cuộc sống của bạn dễ dàng hơn và dữ liệu của bạn an toàn hơn. Mã sửa lỗi (ECC) là một cấu trúc toán học sẽ tạo ra dữ liệu có thể được sử dụng để sửa chữa dữ liệu của bạn. Điều này hiệu quả hơn, vì ECC có thể sửa chữa nhiều dữ liệu của bạn hơn bằng cách sử dụng ít dung lượng lưu trữ hơn so với sao chép đơn giản (nghĩa là tạo nhiều bản sao tệp của bạn) và thậm chí chúng có thể được sử dụng để kiểm tra xem tệp của bạn có bất kỳ tham nhũng, và thậm chí xác định vị trí của những tham nhũng đó. Trên thực tế, đây chính xác là một ứng dụng của nguyên tắc dự phòng, nhưng theo một cách thông minh hơn là nhân rộng. Kỹ thuật này được sử dụng rộng rãi trong mọi giao tiếp tầm xa hiện nay, chẳng hạn như 4G, WiMax và thậm chí cả truyền thông không gian của NASA. Thật không may, mặc dù ECC có mặt khắp nơi trong viễn thông, nhưng chúng không được sửa chữa tập tin, có thể vì nó hơi phức tạp. Tuy nhiên, một số phần mềm có sẵn, chẳng hạn như PAR2 nổi tiếng (nhưng hiện đã cũ), DVD Disaster (cung cấp thêm mã sửa lỗi trên đĩa quang) và pyFileFixity (mà tôi phát triển một phần để khắc phục các hạn chế và sự cố PAR2). Ngoài ra còn có các hệ thống tệp tùy chọn triển khai Reed-Solomon như ZFS cho Linux hoặc ReFS cho Windows, về mặt kỹ thuật là sự khái quát hóa của RAID5.

• Kiểm tra tính toàn vẹn của các tệp của bạn thường xuyên: Băm các tệp của bạn và kiểm tra chúng theo thời gian (nghĩa là mỗi năm một lần, nhưng nó phụ thuộc vào phương tiện lưu trữ và điều kiện môi trường). Khi bạn thấy rằng các tệp của mình bị hỏng, đã đến lúc sửa chữa bằng ECC mà bạn đã tạo nếu bạn đã làm như vậy và / hoặc để tạo một bản sao mới của dữ liệu của bạn trên phương tiện lưu trữ mới. Kiểm tra dữ liệu, sửa chữa tham nhũng và tạo các bản sao mới là một chu trình giám tuyển rất tốt sẽ đảm bảo dữ liệu của bạn được an toàn. Kiểm tra cụ thể là rất quan trọng vì các bản sao tệp của bạn có thể bị hỏng âm thầm và nếu sau đó bạn sao chép các bản sao đã bị giả mạo, bạn sẽ kết thúc với các tệp bị hỏng hoàn toàn. Điều này thậm chí còn quan trọng hơn với các phương tiện lưu trữ lạnh, chẳng hạn như đĩa quang, CANNOT tự động kiểm tra tính toàn vẹn của dữ liệu (họ đã triển khai ECC để chữa lành một chút, nhưng họ không thể tự động kiểm tra hoặc tạo bản sao mới, đó là công việc của bạn!). Để theo dõi các thay đổi của tệp, bạn có thể sử dụng tập lệnh rfigc.py củapyFileFixity hoặc các công cụ UNIX khác như md5deep . Bạn cũng có thể kiểm tra trạng thái sức khỏe của một số phương tiện lưu trữ như ổ cứng bằng các công cụ như Hard Drive Sentinel hoặc smartmontools mã nguồn mở .

• Lưu trữ phương tiện lưu trữ của bạn trên các địa điểm khác nhau (có ít nhất một bản sao bên ngoài ngôi nhà của bạn!) Để tránh các sự kiện thảm khốc trong đời thực như lũ lụt hoặc hỏa hoạn. Ví dụ: một đĩa quang trong công việc của bạn hoặc bản sao lưu dựa trên đám mây có thể là một ý tưởng tốt để thực hiện yêu cầu này (ngay cả khi các nhà cung cấp đám mây có thể tắt bất cứ lúc nào, miễn là bạn có các bản sao khác, bạn sẽ an toàn , các nhà cung cấp đám mây sẽ chỉ phục vụ như một kho lưu trữ ngoại vi trong trường hợp khẩn cấp).

• Lưu trữ trong các thùng chứa cụ thể với các thông số môi trường được kiểm soát : đối với môi trường quang học, lưu trữ tránh ánh sáng và trong hộp kín nước để tránh độ ẩm. Đối với ổ đĩa cứng và thẻ sd, lưu trữ trong tay áo chống từ để tránh điện dư để làm xáo trộn ổ đĩa. Bạn cũng có thể bảo quản trong túi / hộp kín khí và kín nước và bảo quản trong tủ đông: nhiệt độ chậm sẽ làm chậm entropy và bạn có thể kéo dài khá nhiều thời gian sử dụng của bất kỳ phương tiện lưu trữ nào như thế (chỉ cần đảm bảo rằng nước đã thắng Không vào được bên trong, nếu không phương tiện của bạn sẽ chết nhanh chóng).

• Sử dụng phần cứng chất lượng tốt và kiểm tra chúng trước (ví dụ: khi bạn mua thẻ SD, hãy kiểm tra toàn bộ thẻ bằng phần mềm như HDD Scan để kiểm tra xem mọi thứ có ổn không trước khi ghi dữ liệu của bạn). Điều này đặc biệt quan trọng đối với các ổ đĩa quang, vì chất lượng của chúng có thể thay đổi đáng kể chất lượng của các đĩa bị cháy của bạn, như được chứng minh bởi nghiên cứu của Archives de France (một ổ ghi DVD xấu sẽ tạo ra DVD ít hơn rất nhiều).

• Chọn cẩn thận các định dạng tệp của bạn: không phải tất cả các định dạng tệp đều có khả năng chống lại tham nhũng, một số thậm chí còn yếu rõ ràng. Ví dụ: hình ảnh .jpg có thể bị hỏng hoàn toàn và không thể đọc được bằng cách giả mạo chỉ một hoặc hai byte. Tương tự cho lưu trữ 7zip. Điều này là vô lý, vì vậy hãy cẩn thận về định dạng tệp của các tệp bạn lưu trữ. Theo nguyên tắc thông thường, văn bản rõ ràng đơn giản là tốt nhất, nhưng nếu bạn cần nén, hãy sử dụng zip không rắn và đối với hình ảnh, hãy sử dụng JPEG2 (chưa phải là nguồn mở ...). Thêm thông tin và đánh giá của các giám tuyển kỹ thuật số chuyên nghiệp ở đây , đây và đây .

• Lưu trữ cùng với dữ liệu của bạn lưu trữ mọi phần mềm và thông số kỹ thuật cần thiết để đọc dữ liệu. Hãy nhớ rằng các thông số kỹ thuật thay đổi nhanh chóng và do đó trong tương lai dữ liệu của bạn có thể không thể đọc được nữa, ngay cả khi bạn có thể truy cập tệp. Vì vậy, bạn nên thích các định dạng và phần mềm nguồn mở và lưu trữ mã nguồn của chương trình dọc theo dữ liệu của bạn để bạn luôn có thể điều chỉnh chương trình từ mã nguồn để khởi chạy từ HĐH hoặc máy tính mới.

• Rất nhiều phương pháp và cách tiếp cận khác có sẵn ở đây , ở đây và trong các phần khác nhau của Internet.

Phần kết luận

Tôi khuyên bạn nên sử dụng những gì bạn có thể có, nhưng luôn tôn trọng nguyên tắc dự phòng (tạo 4 bản sao!) Và luôn kiểm tra tính toàn vẹn thường xuyên (vì vậy bạn cần tạo trước cơ sở dữ liệu băm MD5 / SHA1) và tạo mới bản sao trong trường hợp tham nhũng. Nếu bạn làm điều đó, về mặt kỹ thuật bạn có thể giữ dữ liệu của mình miễn là bạn muốn bất cứ phương tiện lưu trữ nào của bạn. Thời gian giữa mỗi lần kiểm tra phụ thuộc vào độ tin cậy của phương tiện lưu trữ của bạn: nếu đó là đĩa mềm, hãy kiểm tra 2 tháng một lần, nếu đó là HTL Blu-ray, hãy kiểm tra 2/3 năm một lần.

Bây giờ trong tối ưu, tôi khuyên bạn nên lưu trữ lạnh để sử dụng đĩa HTL Blu-ray hoặc đĩa DVD cấp lưu trữ được lưu trữ trong các hộp đục nước và được lưu trữ ở nơi mới. Ngoài ra, bạn có thể sử dụng thẻ SD và các nhà cung cấp dựa trên đám mây như SpiderOak để lưu trữ các bản sao dữ liệu dư thừa hoặc thậm chí cả ổ cứng nếu bạn có thể truy cập nhiều hơn.

Sử dụng nhiều mã sửa lỗi , chúng sẽ tiết kiệm ngày của bạn. Ngoài ra, bạn có thể tạo nhiều bản sao của các tệp ECC này (nhưng nhiều bản sao dữ liệu của bạn quan trọng hơn nhiều bản sao của ECC vì các tệp ECC có thể tự sửa chữa!).

Tất cả các chiến lược này đều có thể được thực hiện bằng cách sử dụng bộ công cụ tôi đang phát triển (nguồn mở): pyFileFixity . Công cụ này thực tế đã được bắt đầu bởi cuộc thảo luận này, sau khi nhận thấy rằng không có công cụ miễn phí nào để quản lý hoàn toàn tính cố định của tệp. Ngoài ra, vui lòng tham khảo readme và wiki của dự án để biết thêm thông tin về tính cố định tệp và giám tuyển kỹ thuật số.

Về lưu ý cuối cùng, tôi thực sự hy vọng rằng sẽ có thêm R & D cho vấn đề này. Đây là một vấn đề lớn đối với xã hội hiện tại của chúng ta, ngày càng có nhiều dữ liệu được số hóa, nhưng không có bất kỳ đảm bảo nào rằng khối thông tin này sẽ tồn tại hơn một vài năm. Điều đó khá phiền muộn, và tôi thực sự nghĩ rằng vấn đề này nên được đặt ra nhiều hơn ở phía trước, để điều này trở thành một điểm tiếp thị cho các nhà xây dựng và các công ty để tạo ra các thiết bị lưu trữ có thể tồn tại cho các thế hệ tương lai.

/ EDIT: đọc dưới đây cho một thói quen giám tuyển thực tế .

Không có giải pháp dễ dàng. Việc bảo trì lưu trữ là một quá trình , không phải là công việc một lần. Tất cả ba loại phương tiện lưu trữ hiện có sẵn đều có điểm cộng và nhược điểm riêng, tuy nhiên những đối số này áp dụng cho tất cả các loại phương tiện:

1. Không ai lưu trữ DVD hoặc đĩa cứng trong 30 hoặc 100 năm, vì những lý do rõ ràng. Vì vậy, không có hồ sơ theo dõi và không ai biết phương tiện truyền thông sẽ già đi như thế nào. Các xét nghiệm lão hóa nhân tạo không chứng minh được nhiều, và bạn dựa vào thử nghiệm của nhà cung cấp, (không phải vô tư).

2. Bạn phải lưu trữ phương tiện trong môi trường được kiểm soát để có kết quả tốt nhất (nhiệt độ / độ ẩm không đổi, ánh sáng yếu, v.v.). Nếu không, cuộc sống truyền thông được rút ngắn đáng kể.

3. Bạn phải duy trì phần cứng và phần mềm đọc phương tiện (ví dụ: giao diện SATA có thể không khả dụng sau 30 năm nữa).

Vì vậy, theo tôi, giải pháp khả thi duy nhất cho người dùng gia đình hoặc doanh nghiệp nhỏ là:

1. Duy trì nhiều bản sao của tất cả dữ liệu trên các loại phương tiện khác nhau (cả đĩa cứng và DVD)
2. Duy trì nhiều bản sao của tất cả dữ liệu ở nhiều địa điểm (tại nhà và trong hộp ký gửi an toàn của ngân hàng của bạn).
3. Sao chép tất cả dữ liệu sang phương tiện mới thường xuyên (ví dụ: sao chép vào đĩa cứng mới và đĩa DVD mới cứ sau 2 năm. Khi mật độ dữ liệu tăng lên, có lẽ bạn cũng sẽ cần ít đĩa hơn.
4. Duy trì các bản sao giấy cho tất cả các dữ liệu quan trọng, nếu có thể (ví dụ: in các sổ cái chung hàng năm cho doanh nghiệp của bạn, in hầu hết các bức ảnh gia đình quý giá, v.v.)

Theo dõi nhanh câu trả lời trước của tôi ở trên , điều này sẽ được thực hiện ngắn gọn hơn và mở rộng với thông tin bổ sung (nhưng không quan trọng) mà tôi không thể thêm vào câu trả lời đầu tiên vì các ràng buộc về độ dài 30K.

Vì lưu trữ dài hạn là một quy trình giám tuyển, đây là một số điều khác bạn có thể muốn chú ý để làm cho quy trình của bạn hiệu quả hơn và tốn ít thời gian (và tài nguyên) hơn:

• Chống trùng lặp : vì cách duy nhất để đảm bảo lưu trữ lâu dài là thông qua dự phòng được thiết kế có chủ ý, bạn muốn tránh dữ liệu dư thừa vô dụng (ví dụ: các bản sao của tệp bạn đã tải từ khóa usb vào ổ cứng lưu trữ của bạn, nhưng bạn đã có một bản sao sắp tới từ máy tính chính của bạn!). Dữ liệu dư thừa không mong muốn, thường được gọi là trùng lặp là xấu, cả về chi phí lưu trữ (chúng chiếm nhiều tài nguyên lưu trữ hơn nhưng bạn sẽ khó tìm thấy chúng khi cần), cho quy trình của bạn (nếu bạn có các phiên bản khác nhau của cùng một tệp thì sao? Làm thế nào bạn có thể biết bản sao nào là đúng?) Và theo thời gian của bạn (nó sẽ cộng vào số lần chuyển khi bạn sẽ đồng bộ hóa bản sao lưu cho tất cả các tài liệu lưu trữ của bạn). Đó là lý do tại sao các dịch vụ lưu trữ chuyên nghiệp thường cung cấp sự trùng lặp tự động: các tệp hoàn toàn giống nhau sẽ có cùng một nút và chúng sẽ không chiếm thêm dung lượng. Đó là những gì SpiderOak làm chẳng hạn. Có các công cụ tự động mà bạn có thể sử dụng và các hệ thống tệp ZFS (Linux) hoặc ReFS (Windows) có thể tự động làm điều đó cho bạn.

• Ưu tiên / phân loại : như bạn có thể thấy, lưu trữ dài hạn là một quá trình tốn thời gian cần phải được thực hiện thường xuyên (để kiểm tra vệ sinh, đồng bộ hóa lưu trữ trên các phương tiện, tạo lưu trữ mới trên phương tiện mới để thay thế các tệp sửa lỗi , Vân vân.). Để giảm thiểu thời gian bạn phải trả, hãy cố gắng xác định các chương trình bảo vệ khác nhau tùy thuộc vào mức độ ưu tiên của dữ liệu của bạn dựa trên các danh mục. Ý tưởng là khi bạn di chuyển dữ liệu máy tính của mình sang một trong các ổ cứng ngoài mà bạn sử dụng để lưu trữ lâu dài, bạn đặt chúng trực tiếp vào một thư mục xác định mức độ ưu tiên sao lưu: "không quan trọng", "cá nhân", "quan trọng", "quan trọng" ". Sau đó, bạn có thể xác định các chiến lược sao lưu khác nhau cho mỗi thư mục: bảo lưu toàn bộ bảo vệ (ví dụ: sao lưu trên 3 ổ cứng + đám mây + mã sửa lỗi + BluRays) chỉ cho dữ liệu quan trọng nhất bạn muốn giữ toàn bộ cuộc sống của mình (thư mục quan trọng) , sau đó bảo vệ trung bình cho dữ liệu "quan trọng" (ví dụ: sao lưu trên 3 ổ cứng + đám mây) và sau đó "cá nhân" chỉ được sao chép vào ít nhất hai ổ cứng ngoài và "không quan trọng" không được sao chép (hoặc có thể trên một ổ cứng ổ đĩa nếu quá trình đồng bộ hóa không quá lâu ...). Thông thường, bạn sẽ thấy rằng " là tất cả những thứ bạn tải xuống từ internet hoặc các tệp và phương tiện truyền thông khác nhau mà bạn có mà bạn không thực sự quan tâm (như phần mềm và trò chơi và phim). Điểm mấu chốt là:càng nhiều tệp bạn muốn lưu trữ lâu dài thì càng khó (và tốn thời gian) , vì vậy hãy cố gắng giữ các tệp được xử lý đặc biệt này ở mức tối thiểu.

• Siêu dữ liệu là một điểm quan trọng: ngay cả với các chiến lược giám tuyển tốt, thường có một thứ không được bảo vệ: siêu dữ liệu. Siêu dữ liệu bao gồm thông tin về các tệp của bạn, ví dụ: cây thư mục (vâng, đây chỉ là một vài byte, nếu bạn mất điều đó, bạn sẽ nhận được các tệp của mình trong tình trạng rối loạn hoàn toàn!), Tên tệp và phần mở rộng, dấu thời gian (điều này có thể quan trọng đối với bạn), v.v ... Điều này có vẻ không phải là vấn đề lớn, nhưng hãy tưởng tượng như sau: nếu ngày mai, tất cả các tệp của bạn (bao gồm các tệp được vận chuyển bằng phần mềm và nội dung) sẽ được đặt trong một thư mục phẳng, không có tên tệp cũng như sự mở rộng. Bạn có thể khôi phục các tệp bạn cần từ hàng tỷ tệp trên máy tính của mình không, bằng cách kiểm tra thủ công? Đừng nghĩ rằng đây là một tình huống bất thường, nó có thể xảy ra dễ dàng như khi bạn bị mất điện hoặc gặp sự cố ở giữa một bản sao: phân vùng đang được viết có thể bị phá hủy hoàn toàn (kiểu RAW khét tiếng). Để khắc phục vấn đề này, bạn nên chuẩn bị và chuẩn bị dữ liệu để phục hồi dữ liệu: để đảm bảo rằng bạn giữ dữ liệu meta, bạn có thể kết hợp các tệp với dữ liệu meta của chúng bằng cách sử dụngtài liệu lưu trữ không rắn như ZIP DEFLATE hoặc DAR (nhưng không phải là tar). Một số hệ thống tập tin cung cấp dự phòng dữ liệu meta tự động, chẳng hạn như DVDisaster (cho đĩa quang) và ZFS / ReFS (cho ổ đĩa cứng). Sau đó, trong trường hợp xảy ra sự cố dữ liệu meta, bạn có thể thử khôi phục phân vùng của mình bằng TestDisk hoặc GetDataBack (cho phép khôi phục cây thư mục một phần) hoặc ISOBuster (đối với đĩa quang), để khôi phục cây thư mục và dữ liệu meta khác. Trong trường hợp tất cả đều thất bại, bạn có thể quay lại xử lý tệp bằng PhotoRec: điều này sẽ trích xuất tất cả các tệp mà nó nhận ra nhưng trong tình trạng rối loạn hoàn toàn và không có tên tệp cũng như dấu thời gian, chỉ có dữ liệu sẽ được phục hồi. Nếu bạn đã nén các tệp quan trọng, bạn sẽ có thể khôi phục dữ liệu meta bên trong zip (ngay cả khi bản thân zip không chứa dữ liệu meta nữa, ít nhất là bên trong các tệp vẫn sẽ có dữ liệu meta chính xác). Tuy nhiên, bạn sẽ phải kiểm tra thủ công tất cả các tệp được sắp xếp theo cách thủ công, việc này rất tốn thời gian. Để bảo vệ chống lại khả năng này, bạn có thể tạo trước tệp kiểm tra tính toàn vẹn bằng pyFileFixity hoặc PAR2, sau đó sử dụng tệp kiểm tra tính toàn vẹn này sau khi tệp để tự động nhận dạng và đổi tên tệp tùy theo nội dung của chúng (đây là cách duy nhất để tự động hóa tệp meta- phục hồi dữ liệu, vì về mặt kỹ thuật chỉ có thể khôi phục nội dung chứ không phải dữ liệu meta).

• Tự kiểm tra định dạng tệp và chiến lược giám tuyển của bạn : thay vì tin tưởng vào các từ của bài viết về loại định dạng nào tốt hơn loại định dạng khác, bạn có thể tự mình thử với pyFileFixity filetamper.py hoặc chỉ một mình bằng cách thay thế một vài ký tự thập lục phân trong một số các tệp: bạn sẽ thấy rằng hầu hết các định dạng tệp có thể bị hỏng chỉ với 3 byte khác nhau. Vì vậy, bạn thực sự phải chọn cẩn thận các định dạng tệp của mình: thích các tệp văn bản đơn giản để ghi chú và sử dụng các định dạng tệp có khả năng phục hồi cho các phương tiện truyền thông (chúng vẫn đang được xử lý như Mã sửa lỗi biến MPEG-4, ffmpeg thực hiện nó, ref sẽ được thêm vào ) hoặc tạo mã sửa lỗi của riêng bạn.

• Đọc các nghiên cứu thống kê, đừng tin vào các tuyên bố : Như tôi đã nói trong câu trả lời trước, các tuyên bố ngông cuồng được thực hiện mọi lúc về tuổi thọ của phương tiện lưu trữ mà không có bất kỳ sự thật khoa học nào, và bạn nên đặc biệt cảnh giác về điều đó. Thật vậy, không có gì trong luật ngăn cản nhà sản xuất tự hào về những tuyên bố giả mạo và không thể kiểm chứng về tuổi thọ. Thích tham khảo các nghiên cứu thống kê, chẳng hạn như báo cáo hàng năm của BackBlaze về tỷ lệ lỗi ổ cứng .

• Mất phương tiện lưu trữ đảm bảo lâu dài . Bảo hành không thể mang dữ liệu của bạn trở lại, nhưng nó cho bạn biết về cách nhà sản xuất đánh giá tỷ lệ thất bại của sản phẩm (vì nếu không, nó sẽ có giá quá cao nếu tỷ lệ quá cao trong thời gian bảo hành).

Một bản cập nhật về sơ đồ tôi sử dụng: Tôi áp dụng chiến lược ưu tiên được mô tả ở trên và tôi đã thêm dịch vụ sao lưu đám mây SpiderOak vào sơ đồ của mình, vì nó có gói lưu trữ vô hạn và được mã hóa hoàn toàn, vì vậy tôi giữ quyền sở hữu dữ liệu của mình. Tôi KHÔNG sử dụng làm phương tiện sao lưu duy nhất cho bất kỳ dữ liệu nào của mình, đây chỉ là một lớp bổ sung.

Vì vậy, đây là chương trình hiện tại của tôi:

• 3 bản sao ổ cứng thường xuyên được kiểm tra và đồng bộ hóa và được lưu trữ ở hai nơi khác nhau và 1 bản luôn ở bên tôi (tôi sử dụng nó để lưu trữ rác và thực hiện sao lưu nhanh).
• SpiderOak với gói lưu trữ vô hạn
• Đĩa BluRay cho dữ liệu thực sự hợp lý nhưng không quá lớn (tôi giới hạn ở mức 50 GB dữ liệu mà tôi có thể lưu trữ trên các đĩa này)
• pyFileFixity và DVDisaster cho các thư mục tôi thực sự muốn đảm bảo duy trì lâu dài.

Công việc hàng ngày của tôi là như thế này: Tôi luôn có một ổ cứng USB di động 2.5 mà tôi có thể sử dụng để cất những thứ không quan trọng (di chuyển tệp từ máy tính sang ổ cứng) hoặc sao lưu những thứ quan trọng (sao chép tệp vào ổ cứng nhưng vẫn giữ một bản sao máy vi tính). Đối với những thứ thực sự quan trọng, tôi cũng kích hoạt sao lưu trực tuyến vào SpiderOak (Tôi có một thư mục trên máy tính của mình với những thứ quan trọng, vì vậy tôi chỉ cần di chuyển các tệp quan trọng ở đó và nó được tự động đồng bộ hóa bởi SpiderOak). Đối với các tệp quan trọng THỰC SỰ, tôi cũng tính toán một tệp sửa lỗi bằng pyFileFixity.

Vì vậy, để tóm tắt, đối với những thứ quan trọng, tôi lưu trữ chúng trên: ổ cứng di động, đám mây SpiderOak và máy tính của tôi, vì vậy tôi có 3 bản sao bất cứ lúc nào chỉ với hai hành động nhanh chóng (sao chép vào ổ cứng di động và chuyển sang thư mục SpiderOak). Nếu một bản sao bị hỏng, tôi có thể bỏ phiếu đa số để sửa chúng bằng pyFileFixity. Đây là một chương trình chi phí rất thấp (cả về giá cả và thời gian) nhưng rất hiệu quả và thực hiện tất cả các nguyên lý cốt lõi của giám tuyển kỹ thuật số (dự phòng ba, các bản sao khác nhau ở các địa điểm khác nhau, phương tiện khác nhau, kiểm tra tính toàn vẹn và ecc của SpiderOak).

Sau đó, cứ sau 3 đến 6 tháng, tôi đồng bộ hóa ổ cứng di động của mình với ổ cứng thứ hai ở nhà, và cứ sau 6 đến 12 tháng tôi lại đồng bộ hóa ổ cứng di động của mình với ổ cứng thứ ba ở nhà khác. Điều này mang lại lợi ích bổ sung cho việc xoay vòng (nếu trong 6 tháng tôi nhận ra có gì đó không ổn trong lần sao lưu cuối cùng của mình và tôi đã xóa các tệp quan trọng, tôi có thể lấy chúng từ một trong hai ổ cứng gia đình).

Cuối cùng, tôi đã viết một số tệp rất quan trọng trên đĩa BluRay bằng DVDisaster (và các tệp ecc bổ sung với pyFileFixity nhưng tôi không chắc điều đó là cần thiết). Tôi cất chúng trong một cái hộp kín khí trong tủ quần áo. Tôi chỉ kiểm tra chúng vài năm một lần.

Bạn thấy đấy, lược đồ của tôi không thực sự là một gánh nặng lớn: hàng ngày, phải mất vài phút để sao chép tệp vào ổ cứng di động và vào thư mục SpiderOak của tôi, và sau đó tôi chỉ đồng bộ hóa cứ sau 6 tháng với một hoặc ổ cứng gia đình khác . Việc này có thể mất tới một ngày tùy thuộc vào số lượng dữ liệu cần được đồng bộ hóa, nhưng nó được tự động hóa bằng phần mềm, vì vậy bạn chỉ cần để máy tính chạy phần mềm và bạn làm một cái gì đó khác (Tôi sử dụng một chiếc netbook 100 đô la mà tôi đã mua làm điều đó, để tôi có thể làm việc trên máy tính chính của mình cùng một lúc mà không lo bị hỏng máy tính giữa bản sao có thể khủng khiếp và phá hủy ổ cứng của bạn đang được ghi ). Các mã sửa lỗi và các lược đồ BluRay hiếm khi chỉ được sử dụng cho các dữ liệu thực sự quan trọng, vì vậy sẽ tốn thời gian hơn một chút, nhưng nó rất hiếm.

Sơ đồ này có thể được tăng cường (như mọi khi), ví dụ bằng cách sử dụng ZFS / ReFS trên các ổ đĩa cứng : điều này sẽ thực hiện bảo vệ mã sửa lỗi tự động và kiểm tra mã lỗi (và dittoblocks !) Mà không có bất kỳ tương tác thủ công nào từ phía tôi ( trái với pyFileFixity). Mặc dù ZFS không thể chạy trong HĐH Windows (hiện tại) , có ReFS cho phép kiểm soát sửa lỗi tương tự ở cấp hệ thống tệp. Ngoài ra, có thể là một ý tưởng tốt để sử dụng các hệ thống tập tin này trên các ổ cứng gắn ngoài! Một ổ cứng di động chạy ZFS / ReFS với sửa lỗi RS tự động và chống trùng lặp sẽ rất tuyệt vời! (và ZFS dường như khá nhanh nên sao chép phải nhanh!).

Một lưu ý cuối cùng: hãy cẩn thận với các khiếu nại về khả năng ECC của các hệ thống tệp như trong danh sách này , vì phần lớn nó chỉ giới hạn ở siêu dữ liệu (như APFS ) hoặc phản chiếu RAID 1 ( btrfs ). Theo hiểu biết của tôi, chỉ ZFS và ReFS cung cấp mã sửa lỗi thực sự (và không phản chiếu đơn giản) cả siêu dữ liệu và dữ liệu, với ZFS là loại tiên tiến nhất hiện nay (mặc dù vẫn còn thử nghiệm vào năm 2018), đặc biệt là vì các ổ ReFS không thể khởi động được .

Tôi sẽ đi microfilm. Tôi không biết nếu nó vẫn được sản xuất, nhưng tôi sẽ ngạc nhiên nếu nó không. Các tiêu cực dựa trên bạc kéo dài hàng trăm năm nếu được lưu trữ chính xác. Tất nhiên đó là một khoản đầu tư lớn, và sẽ chiếm cả một căn phòng để chụp ảnh và xem, và đó là không tính lưu trữ. Vì vậy, điều đó chỉ khi bạn thực sự Ý NGH 100A 100 năm + mà không cần bảo trì.

Nếu không - và rất có thể bạn sẽ không trừ khi bạn muốn tạo ra một viên nang thời gian -, chỉ cần sử dụng các bản sao lưu ổ cứng và sao chép toàn bộ nội dung sang phương tiện mới trong mỗi 10-15 năm. Thực sự, không có bảo hiểm nào tốt hơn chống lại sự lão hóa của phương tiện hơn là sao chép toàn bộ mọi thứ trong vòng 10 năm hoặc lâu hơn. Tốt hơn microfilm, tốt hơn so với viên đất sét, tốt hơn so với đá phiến đá chôn trong cát sa mạc.

Lên đến 5TB (hoặc nhiều hơn?) Bạn có thể lưu trữ an toàn tới 30 năm trên một băng từ hay còn gọi là ổ băng từ. Lần này đã được chứng minh. Các bản ghi tia xanh sẽ lưu trữ an toàn công cụ của bạn lên đến 30 năm, nhưng dung lượng của nó là khoảng 100 GB.

Nếu bạn có nhiều tiền hơn, bạn sẽ lưu trữ nó trên phim 35mm đen / trắng. Giả định rằng dữ liệu có thể được khôi phục (tùy thuộc vào mật độ) trong 700 năm tới. ( Liên kết tiếng Đức đến wikipedia )

Tôi đề nghị một đĩa niken đường kính ba inch với thông tin được khắc bằng kính hiển vi trên bề mặt của nó.

http://rosettaproject.org/blog/02008/aug/20/very-long-term-backup/

Đối với loại khoảng thời gian đó, bất cứ thứ gì đã có trên giấy (hoặc có thể dễ dàng in mà không mất thông tin) sẽ tốt nhất để lưu trữ ở dạng đó. Chỉ cần chú ý đến giấy và mực bạn sử dụng cho bản cứng.

Đối với những người khác, tôi không biết về một phương tiện kỹ thuật số hiện đang được sử dụng sẽ tồn tại trong những khoảng thời gian đó. Nếu bạn dành thời gian (và do đó là tiền) để làm mới bộ sưu tập của mình, thì băng từ có thể là một lựa chọn khả thi - nhưng ngay cả khi đó bạn cũng cần một chút dư thừa, vì bạn có thể phát hiện ra rằng một băng duy nhất đã bị hỏng (hoặc nó có thể là ổ đĩa băng chỉ xảy ra để đọc băng khi đọc nó).

Và ngay cả khi bạn có thể khiến phương tiện truyền thông thực sự đứng trước thử thách của thời gian, bạn vẫn sẽ phải đối mặt với vấn đề liệu có chương trình nào có thể đọc phương tiện truyền thông sau 30 năm nữa hay không, chứ đừng nói đến 100 năm nữa.

Đúng là CD-R và DVD-R thông thường không đủ tin cậy để lưu trữ dữ liệu quan trọng. Nhưng bạn có thể nhận được các đĩa DVD không quá nhanh để phân rã:

https://www.google.com.vn/search?q=archival+dvd-r

Tôi đã đọc rằng 'M-Disc' đã tạo ra một DVD cần một nhà văn đặc biệt nhưng vẫn có thể đọc được trên các đầu đọc DVD chung. Họ tuyên bố tuổi thọ ước tính là 1000 năm, nói rằng nó không thể được kiểm tra chính xác. Tiếp xúc lâu với ánh nắng mặt trời, trầy xước, sử dụng nhiều lần vv và đĩa có thể sử dụng 100%. Tôi quan tâm đến bất kỳ phản hồi nào từ bất kỳ ai gặp phải hệ thống này.

Đây là một trích đoạn của Dell, người có thể cài đặt ổ đĩa M-Disc trong máy tính xách tay / PC mới của họ

M-DISC Ready điều khiển dữ liệu khắc laser vào vật liệu giống như đá vô cơ để ngăn ngừa mất dữ liệu, đảm bảo các tệp của bạn an toàn và có thể được lưu trữ tới 1000 năm, công ty tuyên bố.

Không giống như tất cả các DVD có thể ghi khác sử dụng thuốc nhuộm hữu cơ để giữ dữ liệu, M Đĩa sẽ không bị phai hoặc xuống cấp theo thời gian.

Bạn cần kết hợp các công nghệ, vị trí và phương tiện khác nhau để đạt được các bản sao lưu có tuổi thọ cao:

• Ghi vào DVD - Bluray ở tốc độ thấp. Giữ chúng trong ánh sáng thấp, nhiệt độ thấp, độ ẩm thấp, không bị trầy xước.
• Giữ một bản sao trong đơn vị RAID 1, Raid5, Raid6 hoặc Raid10.
• Giữ một bản sao khác trong ổ cứng ngoài
• Giữ một bản sao trong đám mây (carbonite, crashplan)
• Giữ một bản sao trên công nghệ M-Disc (Mdiscs và Mdisc burner) không có sẵn tại Amazon.com với giá rất tốt. Nhà sản xuất tuyên bố họ có thể giữ dữ liệu trong 1000 năm.

Như ai đó đã đề cập, có một công nghệ mới gọi là M-Disc. Chúng rất đáng tin cậy: http://www.zdnet.com/torture-testing-the-1000-year-dvd-7000023203/ Chúng tôi bắt đầu sử dụng chúng để bảo vệ hình ảnh của các đĩa máy sản xuất. Đã có Blu-Rays trên thị trường. Chỉ có nhược điểm là chúng chậm hơn B-RD cổ điển.

Nếu bạn muốn có một phương pháp để giải quyết vấn đề này, bạn nên nghiên cứu trường Trình bày kỹ thuật số.

http://en.wikipedia.org/wiki/Digital_preservation

Bảo quản kỹ thuật số là phương pháp giữ cho vật liệu kỹ thuật số tồn tại để chúng vẫn có thể sử dụng được vì những tiến bộ công nghệ làm cho đặc tả phần cứng và phần mềm ban đầu trở nên lỗi thời (wikipedia)

Ngoài ra còn có một mô hình tham chiếu: OAIS http://en.wikipedia.org/wiki/Open_Archival_In information_System

Có một vài giải pháp nguồn mở và thương mại để đồng hành với nó. Thư viện và Lưu trữ sử dụng công nghệ này để bảo quản sách số hóa trong thời gian dài.

Câu trả lời của bạn rất đơn giản:

https://wiki.openstack.org/wiki/Cinder

Openstack là một hệ thống lưu trữ gần như 'bất tử', vì bạn có thể nâng cấp hoặc thay thế các nút lỗi bằng các nút mới ngay cả với các công nghệ tương lai mà chúng ta chưa biết đến bây giờ. Dữ liệu của bạn tồn tại ít nhất 2, tối đa 5 vị trí đồng thời trong hệ thống này, vì vậy các ghi chú lưu trữ hoàn chỉnh có thể thất bại và dữ liệu của bạn vẫn còn. Cân lên tới 50 PB (đã xác minh) - 110 PB. Về cơ bản, nó thêm một lớp SW trên phần cứng của bạn và điều này làm cho bộ nhớ của bạn tồn tại vô hạn. Nó vượt qua rào cản âm thanh hiện tại của Bộ Raid với những hạn chế về thời gian xây dựng lại các bộ đột kích rất lớn. Chi phí khoảng 50% hệ thống lưu trữ Raid truyền thống. Tôi biết một hệ thống từ FUJITSU có tính năng này như một kiến ​​trúc tham khảo: CD10000

Thực tế lưu trữ dữ liệu dài hạn bằng cách sử dụng công nghệ hiện tại của năm 2014:

... Và đây là những gì tôi đang làm.

Nhận hai trong số các ổ đĩa nhiều terabyte, ví dụ hai ổ đĩa mỗi ổ 3 terabyte. Gọi một TB-1 và TB-2 khác. Sao lưu mọi thứ vào TB-1. Sau một năm sao lưu lên TB-1, định dạng lại TB-2 và sao chép TB-1 thành TB-2. Sau đó cho năm tiếp theo, sao lưu mọi thứ vào TB-2. Sau năm đó, định dạng lại TB-1 và sao chép TB-2 sang TB-1 do đó bắt đầu lại chu kỳ hai năm một lần.

Việc định dạng lại khôi phục cường độ từ tính của các điểm đánh dấu khu vực. Và việc sao chép khôi phục cường độ từ tính của dữ liệu.

Nguyên tắc tương tự có thể được áp dụng cho sao lưu băng và sao lưu CD, hoặc hầu hết mọi sao lưu khác. Nhưng CD rất bất tiện vì chúng có thể trở nên tồi tệ trong vòng chưa đầy một năm và bạn cần rất nhiều trong số chúng để sao lưu mọi thứ. Vì vậy, việc ghi các bản sao của tất cả các đĩa CD sao lưu cứ sau 5 tháng là quá nhiều công việc. Cho đến nay, tôi có thể lưu trữ toàn bộ cuộc sống của mình trên một ổ đĩa nhiều terabyte.