Làm thế nào để bạn xử lý lưu trữ dữ liệu? [đóng cửa]


9

Sao lưu là một chuyện, nhưng lưu trữ dài hạn là một chuyện khác. Ví dụ: bạn có thể được yêu cầu lưu trữ email trong 7 năm hoặc giữ tất cả dữ liệu dự án vô thời hạn. Tôi đã từng lưu tài liệu lưu trữ vào băng, nhưng sau đó tôi đã có băng bị phá hủy (ổ đĩa xé băng ra). Vì vậy, ... viết vào 2 băng tôi nghe bạn nói. Đó là những gì người khác làm? Có 2 (hoặc nhiều hơn) băng của cùng một dữ liệu để dự phòng?

Nhưng vấn đề khác là băng thường không thể được đọc bởi các nhà cung cấp phần mềm sao lưu khác nhau. Ví dụ: nếu bạn đi từ Arcserve -> Backup Exec -> Commvault hơn 10 năm, bạn sẽ cần giữ cả 3 hệ thống để có thể khôi phục dữ liệu cũ. Tương tự như vậy đối với phần cứng. Băng cũ có thể không được mã hóa. Có thể không tương thích với thư viện mới, v.v. Vậy bạn có giữ phần cứng băng cũ VÀ phần mềm cũ chỉ trong trường hợp bạn có thể cần khôi phục tệp 10 năm tuổi không?

Hoặc ... khi bạn chuyển sang một hệ thống sao lưu mới, bạn có di chuyển tất cả dữ liệu lưu trữ sang hệ thống mới và lưu trữ lại vào băng mới không? Đó có thể là một công việc lớn.

Có suy nghĩ gì không?


Có bao nhiêu dữ liệu bạn đang tìm cách lưu trữ?
GreenKiwi

Câu trả lời:


3

Chúng ta đang nói về bao nhiêu dữ liệu? Dữ liệu "lưu trữ" của chúng tôi đủ nhỏ để chúng tôi chỉ lưu trữ trong bộ lưu trữ trực tiếp (trên thiết bị NAS) được sao lưu với dữ liệu trực tiếp thông thường, do đó, nó tồn tại giống như dữ liệu thông thường của chúng tôi và tuân theo các kỹ thuật khôi phục tương tự mà không cần phải lo lắng về việc giữ công nghệ hàng thập kỷ xung quanh. Nếu dữ liệu trực tiếp của chúng tôi chuyển sang nền tảng lưu trữ mới, kho lưu trữ sẽ di chuyển ngay cùng với nó. Chúng tôi cũng đặt quyền cho lưu trữ dữ liệu sao cho chỉ một thành viên của nhóm bảo mật lưu trữ (trong đó có rất ít người dùng thành viên) có quyền truy cập để xóa mọi thứ khỏi các thư mục đó.

Nếu bạn đang xử lý nhiều dữ liệu hơn mức có thể lưu trữ hợp lý trong kho lưu trữ trực tiếp, băng có thể là lựa chọn tốt nhất của bạn để lưu trữ lâu dài, cùng với việc giữ ít nhất hai bản sao ở các vị trí lưu trữ được kiểm soát khác nhau. Mang chúng ra ngoài vài năm một lần để đảm bảo phương tiện vẫn có thể đọc được và di chuyển từ phương tiện cũ sang phương tiện mới nếu bạn chuyển đổi nhà cung cấp để đảm bảo bạn có thể tiếp tục truy cập dữ liệu.


1
Lưu trữ khoảng 3 hoặc 4TB. Điều này là quá nhiều để sao lưu như một phần của sao lưu thông thường, nó sẽ đòi hỏi nhiều băng thêm mỗi tuần là một sự lãng phí vì nó không bao giờ thay đổi. Và dù sao chúng tôi cũng không có bộ lưu trữ SAN dự phòng.
PowerApp101

1
Đối với 3-4TB, tôi sẽ chọn một loạt các ổ đĩa ngoài 1.0-1.5TB và tạo hai bộ bản sao lưu trực tiếp trên các ổ đĩa. Seagate tạo ra một bao vây sẽ lấy 4 ổ đĩa SATA 1TB và cho phép truy cập qua một kết nối USB. Bạn có thể tải lên hai trong số chúng và đặt chúng ở các vị trí khác nhau. Vẫn mang chúng ra hàng năm hoặc hai để đảm bảo chúng vẫn hoạt động và thay thế ổ đĩa khi cần thiết. Tùy thuộc vào nhà cung cấp của bạn, băng có thể ít tốn kém hơn.
Justin Scott

Có, tôi đoán rằng đó là một giải pháp hợp lý trong những ngày của đĩa giá rẻ. Tôi rất thích di chuyển ra khỏi băng, nó chỉ là quá không đáng tin cậy (lỗi CRC, băng bị hỏng, lỗi nhãn vv).
PowerApp101

Vâng, tôi sẽ đi với tùy chọn này. Dung lượng ổ đĩa rất rẻ trong những ngày này, giữ cho dữ liệu sống trong một hệ thống dư thừa là cách để đi.
GreenKiwi

1
Một bản sao lưu 4TB qua usb sẽ mất gần 20 giờ để hoàn thành. Bạn không có cửa sổ để hoàn thành công việc hay, như bạn đã nói, dữ liệu của bạn có bao giờ thay đổi không? Nếu bạn có một cửa sổ, tôi sẽ chọn một cái gì đó có tốc độ dữ liệu cao hơn.
JohnyD

3

Trong trường hợp của tôi, chúng tôi lưu trữ băng, và tôi sẽ cho bạn biết lý do tại sao nó có ý nghĩa đối với chúng tôi.

Trước hết, phần mềm chúng tôi sử dụng, Trình quản lý lưu trữ Tivoli, là phần mềm, phần mềm chúng tôi sẽ sử dụng trong tương lai gần. Theo tôi, TSM là công ty hàng đầu trong chuỗi thực phẩm về phần mềm sao lưu doanh nghiệp, vì vậy vấn đề thay đổi sang nền tảng phần mềm khác là tương đối không tồn tại đối với chúng tôi.

Điều đó đang được nói, chúng tôi duy trì khá nhiều tài liệu lưu trữ dài hạn, và chúng tôi có một vài cách khác nhau để làm điều đó. May mắn cho chúng tôi, chúng tôi sử dụng một số công nghệ băng mới nhất có thể lưu trữ lên tới 1TB mỗi hộp mực, do đó, có một số lượng lớn tài liệu lưu trữ sống trong thư viện không phải là vấn đề.

  • Lưu trữ vào các băng địa phương và sao chép các tài liệu lưu trữ đó vào trung tâm dữ liệu thay thế của chúng tôi, với các băng lưu trữ nằm trong thư viện băng.

Chúng tôi làm điều này cho một số loại dữ liệu nhất định vì dữ liệu được khôi phục từ một cách thường xuyên và đủ quan trọng để yêu cầu hai bản sao.

  • Lưu trữ vào băng địa phương, nhưng không phải băng từ xa, và để lại băng trong thư viện.

Chúng tôi làm điều này cho dữ liệu ít quan trọng hơn, cần được khôi phục từ một cách thường xuyên.

  • Lưu trữ vào băng địa phương, và gửi chúng ngoại vi để lưu trữ.

Các thực hành trên đã làm việc cho chúng tôi khá tốt trong quá khứ. Chúng tôi đã chuyển sang một công nghệ băng hoàn toàn khác một vài năm trước đây và việc chuyển dữ liệu qua đó là một chút công việc, nhưng nó thực sự không phải là vấn đề lớn. Trong TSM, nó thực sự là một lệnh trên mỗi máy chủ có giá trị lưu trữ và nó sẽ chạy. Có thể mất vài ngày để chạy, nhưng đó không phải là nỗ lực làm việc tích cực cho bất cứ ai.

Làn sóng của tương lai rõ ràng là lưu trữ dựa trên đĩa mặc dù.

Ngay khi có cơ hội, tôi sẽ sắp xếp một mảng đĩa trong một cơ sở lưu trữ an toàn và sao chép lưu trữ loại kiểm toán dài hạn vào một thiết bị như thế.


Ý tưởng tốt. Chúng tôi thực sự có một thiết lập tương tự. Chúng tôi có 2 cơ sở từ xa với các thư viện băng. Chúng tôi sử dụng Commvault, tương tự như TSM tôi đoán. Vấn đề là, làm thế nào để bạn xác định "dữ liệu ít quan trọng hơn". Nó quan trọng với ai đó! Và nó có thể là quan trọng trong kinh doanh, không biết đến bạn.
PowerApp101

Trên mảng đĩa, đáng để xem ZFS trên Solaris hoặc NetApp, thường xuyên xác minh tổng kiểm tra trên mỗi khối, giúp giảm đáng kể khả năng bị thối bit. Bất kỳ phương pháp lưu trữ nào không tính đến bit-rot dường như đều thiếu đối với tôi.
RichVel


0

Bạn cũng có thể xem xét một giải pháp như Data Domain (nay là NetApp) . Họ lưu trữ và thực hiện nén nâng cao mà họ gọi là DeDupe, theo đó họ tìm kiếm các dữ liệu tương tự và có tỷ lệ nén rất cao.

Những loại dữ liệu bạn đang cố gắng sao lưu? Có phải tất cả dữ liệu "ngẫu nhiên" như video hoặc âm nhạc? Hoặc là dữ liệu có thể cho vay để nén?


Nghi ngờ nó sẽ có giá quá cao, như Avamar. Chúng tôi sử dụng phần mềm Commvault cũng có DeDupe nếu bạn chi tiêu đô la mà chúng tôi không có. Chết tiệt bạn GFC!
PowerApp101

0

Tiến lên phía trước với giải pháp lưu trữ mới và giữ các cuộn băng miễn là bạn yêu cầu dữ liệu đó. Nếu bạn yêu cầu nó vĩnh viễn thì bạn có thể xem xét chuyển nó sang đĩa. Với sao lưu đĩa di chuyển đến phương tiện truyền thông trong tương lai là dễ dàng hơn.

Một năm hoặc có thể 2 kể từ bây giờ bạn có thể bắt đầu ghê tởm băng đĩa nếu những bản sao lưu đó không còn cần thiết.

Tái hiện là một nỗ lực rất lớn nếu thời gian sẽ giải quyết vấn đề của bạn cho bạn. Thực hiện phân tích chi phí nếu bạn có chi phí liên quan đến việc lưu trữ các bản sao lưu và / hoặc giấy phép phần mềm để làm việc với những bản sao đó.


0

Vấn đề của bạn với việc lưu trữ dữ liệu, để đơn giản hóa sự bí ẩn của bạn, dường như là khả năng tương thích của các băng cũ với phần cứng mới.

Giải pháp của tôi: chỉ chọn một nhà cung cấp có giải pháp hoàn chỉnh (phần mềm và phần cứng) mà bạn tin tưởng sẽ làm hết sức mình để cung cấp khả năng tương thích kế thừa.

Và rõ ràng có được một hợp đồng rất khôn ngoan về giá khi xem xét độ trung thực của bạn;)

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.