Tư vấn chung về một giải pháp lưu trữ. ~ 15tb và đang phát triển.


9

Tôi cần một hệ thống lưu trữ và lưu trữ tốt hơn cho các tệp của doanh nghiệp nhỏ của tôi. Cụ thể các tập tin được hoàn thành các dự án video. Vượt quá giới hạn về thời gian và chi phí, điều khiến tôi không thể tin được là tôi không tin vào bất kỳ giải pháp nào tôi đã suy nghĩ. Vì vậy, tôi đang đặt ra vấn đề và suy nghĩ của tôi. Tôi sẽ đánh giá cao bất kỳ ý kiến.

Ngân sách: Tôi tin vào việc chi tiêu những gì nó cần. Điều đó đang được nói, chúng tôi là một doanh nghiệp nhỏ. Tôi hy vọng tôi có thể thoát khỏi điều này với giá <5k và hơn thế nữa khoảng 1-3k. Đó có thể là một giấc mơ ống. Chỉ cần nói với tôi như vậy.

Vấn đề:

  • Các tập tin video thô là rất lớn trong kích thước tập tin. Chúng tôi đã tích lũy được 10+ tb cho đến nay và đang tăng nhanh.
  • Chỉnh sửa video yêu cầu quyền truy cập đọc / ghi nhanh vào các tệp để máy chủ tệp trung tâm hoặc trên nền tảng đám mây sẽ không đủ nhanh. Vì vậy, chúng tôi có lẽ cần một giải pháp đạt được cho các dự án cũ và các dự án hiện tại sẽ phải ở địa phương.
  • Chúng tôi muốn một số loại dự phòng và giải pháp ngoại vi.

Những gì chúng tôi hiện đang làm:

  • Chúng tôi sử dụng ổ cứng ngoài lớn, chất lượng cao.
  • Chúng tôi luôn mua theo cặp và tự sao chép nội dung. Nói cách khác, chúng tôi xử lý một tệp và sao chép các tệp này sang tệp khác dùng làm bản sao lưu / dự phòng.
  • Các HD này đủ nhanh với firewire800 hoặc USB3 để trực tiếp hoạt động.
  • Sau khi điền, chúng tôi đặt cặp sang một bên.

Có gì sai với giải pháp hiện tại:

  • Mặc dù dữ liệu được sao chép trên hai ổ đĩa, những ổ đĩa này không được "sao lưu" hoặc lưu trữ ngoại vi.
  • Tổ chức trên nhiều HD bên ngoài là khó khăn. Dự án gì trên ổ đĩa nào? Vân vân.
  • Cuối cùng, chúng ta sẽ có một số lượng lớn các ổ đĩa cứng.
  • Sao chép không phải là RAID.

Tùy chọn:

Máy chủ cục bộ

  • Mua một máy chủ gắn giá đỡ và một dãy ổ đĩa cứng gắn trên giá, như Norco, (SAS) (20 vịnh).
  • Tất cả các tệp video sẽ được lưu trữ trên máy chủ này. Chúng tôi có thể cài đặt và trả tiền cho một dịch vụ đám mây để sao lưu một máy tính / máy chủ này. CrashPlan hoạt động trên Linux và không có giới hạn về số lượng dữ liệu. Các ổ đĩa sẽ là các ổ đĩa vật lý được kết nối với máy chủ để chúng tôi có được các quy tắc "không có NAS" như CrashPlan có. Nó không phải là máy tính cá nhân nên việc đồng bộ hóa có thể chạy 24/7/365. Điều này sẽ giải quyết vấn đề ngoại vi.
  • Thay vì sử dụng dịch vụ sao lưu trực tuyến như CrashPlan, chúng tôi có thể viết một tập lệnh để đồng bộ các tệp này vào tài khoản Amazon Glacier.
  • Một chính sách mà peeps video hoạt động từ các ổ cứng ngoài cho các dự án hiện tại nhưng phải đưa dự án vào máy tính mới này khi hoàn thành. Nói cách khác, tiếp tục sử dụng ổ cứng ngoài cho các dự án hiện tại và lưu trữ các dự án được lưu trữ trên máy chủ này.

Dịch vụ sao lưu dựa trên đám mây (CrashPlan.com, BackBlaze.com, Carbonite.com)

  • Thông thường chỉ cho phép bạn sao lưu ổ cứng ngoài được kết nối vật lý với máy tính. (không có ổ đĩa NAS hoặc mạng).
  • Thông thường, họ mong đợi một ổ đĩa ngoài được sao lưu để duy trì kết nối với máy tính của bạn và tất cả dữ liệu vẫn còn trên ổ đĩa. Nếu bạn không kết nối ổ cứng ngoài trong nhiều tháng, điều gì sẽ xảy ra với các bản sao lưu? Nếu bạn dọn sạch không gian bằng cách xóa các dự án cũ, chúng cũng sẽ bị xóa khỏi dịch vụ trực tuyến.
  • Yêu cầu người dùng của chúng tôi để các ổ cứng ngoài được kết nối với máy tính của họ cho đến khi tất cả dữ liệu nằm trong đám mây. Điều này có thể mất vài tuần cho một dự án lớn.
  • Khôi phục một dự án sẽ rất chậm do tốc độ truyền internet.
  • Các tài khoản sao lưu đám mây này thường dành riêng cho một người dùng / một máy tính. Vì vậy, nếu một ổ cứng được sao lưu bởi một người dùng. Sau đó, một người dùng thứ hai làm việc trên dự án, điều đó có nghĩa là gì?

Một NAS lớn

  • Một NAS là "Lưu trữ khu vực mạng". Bạn gắn vào càng nhiều ổ cứng càng tốt. Nó sẽ đột kích họ. Bạn có thể truy cập thông qua kết nối mạng hoặc có thể là USB3 / Firewire.
  • Hầu hết có một hệ điều hành nướng vào nó. Vì vậy, bạn không thể chạy các phần mềm khác như dịch vụ sao lưu dựa trên đám mây. Bạn cũng không thể thực hiện bất kỳ tùy chỉnh hoặc chạy phần mềm của riêng bạn. Bạn nhận được những gì bạn mua.
  • NAS lớn là khá đắt và không thực sự lớn. Bạn không tìm thấy nhiều với hơn 4 vịnh. Hiện tại một HD lớn là 3tb. Vì vậy, 4 bit có thể ở đâu đó khoảng <12tb dung lượng lưu trữ. Không siêu thoải mái cho tương lai.

Các ý tưởng khác là:

  • Sao lưu băng.
  • Chỉ cần lưu trữ các dự án cũ trực tiếp lên Amazon Glacier, Bỏ qua việc xây dựng một máy chủ cục bộ để lưu trữ chúng.

Cảm ơn vì lời khuyên !!! Jed


Khi một dự án kết thúc, bạn có thường xuyên quay lại và làm việc với dữ liệu của nó không?
Michael Hampton

Bạn hiểu về "Big NAS" là rất nhỏ. Có nhiều công ty từ NetApp đến EMC đến IBM đến Isilon cho đến nhiều công ty khác muốn ngồi lại với bạn.
mfinni

Chúng tôi sẽ cần quay lại dữ liệu này một hoặc hai lần một tháng. Nếu có sự chậm trễ trong việc truy cập dữ liệu này (Amazon Glacier) tôi nghĩ sẽ được chấp nhận nếu chúng ta nói chuyện hàng giờ chứ không phải ngày.
maestrojed

Đừng sử dụng Glacier. Fess thu hồi sẽ cao, và kế toán của bạn sẽ đột quỵ khi anh ta nhận được hóa đơn.
HoplessN00b

@mfinni Tôi chắc chắn EMC và IBM sẽ có những ý tưởng tuyệt vời và phần cứng tuyệt vời (không biết về NetApp). Không chắc chắn rằng nó sẽ phù hợp với ngân sách được mô tả của tôi và cũng không phù hợp với doanh nghiệp nhỏ. Có vẻ như NetApp tạo ra phần cứng tương tự như cái mà tôi gọi là "Mảng ổ cứng" do Norco sản xuất. Tôi đã đề cập đến điều này trong việc xây dựng ý tưởng máy chủ của riêng tôi. Đó có phải là cách tiếp cận mà bạn đang đề xuất?
maestrojed

Câu trả lời:


12

Băng. Đơn giản như thế. Quantum có một hệ thống SuperSTore có thể xử lý nhiều hơn thế và tôi đã thấy chúng với giá thấp hơn 5000 điểm của bạn - mới. Điều tốt là bạn có thể kéo băng ra để lưu trữ, vì vậy việc nhân rộng điều này sẽ khá hiệu quả về chi phí, và băng kéo dài.


Vì bạn hài lòng với thời gian truy xuất theo thứ tự hàng giờ, tôi hoàn toàn đồng ý với TomTom về điều này. Băng được đánh giá thấp hơn nhiều, và tuyệt vời cho loại điều này.
MadHatter

Nếu bạn đi với băng, chỉ cần đảm bảo rằng bạn có thứ gì đó cho phép bạn kiểm tra băng thường xuyên. Theo kinh nghiệm của tôi, khoảng 75% các bản sao lưu băng không hoạt động vì mọi người sử dụng cùng một băng từ nhiều lần và rất ngạc nhiên khi họ không thể truy xuất dữ liệu của họ 3 năm sau đó.
Matthew

2
Đáng ngạc nhiên đủ cho rằng lưu trữ đúng cách (ho) có đảm bảo chiều dài vô chính phủ (tôi nghĩ 30 năm). Và bạn có thể dễ dàng tạo ra 2 bản sao. Lấy cân thật tốt. Đó là nhiều hơn - xin lỗi - thành ngữ của ppl, những người có khả năng không bao giờ kiểm tra khôi phục dù chỉ một lần .... mặc dù tôi sẽ làm trong lịch trình (1 tuần, 1 tháng, 1 năm).
TomTom

1
+1 - Đây thực tế là một trường hợp sách giáo khoa cho băng công suất cao. Chi phí gia tăng của việc thêm lưu trữ vào kho lưu trữ dựa trên băng (ngay cả khi cắt hai băng để lưu trữ trên và ngoài trang web) thấp hơn so với ổ đĩa cứng và băng có nghĩa là để lưu trữ. LTO được hỗ trợ bởi một hiệp hội ngành công nghiệp đã thể hiện cam kết xây dựng các sản phẩm cho phép truy cập trên các phương tiện truyền thông cũ hơn. Mặc dù vậy, trong một vài năm, khi bạn thay thế phần tử băng, có lẽ bạn nên di chuyển dữ liệu cũ sang các định dạng băng mới, nếu chỉ để chống thối bit tiềm năng. Nếu bạn cần điều này là "OPEX", hãy xem xét lựa chọn cho thuê.
Evan Anderson

1
Băng là tốt nhưng nó đòi hỏi kỷ luật - kiểm tra thường xuyên, xoay vòng ngoài cơ sở, v.v.
quadruplebucky

4

Đầu tiên, tôi sẽ khuyên bạn nên tránh Glacier. Nghe có vẻ tốt, cho đến khi bạn giảm chi phí cho việc thực sự khôi phục một lượng lớn dữ liệu. Đây là một máy tính không chính thức mà bạn có thể sử dụng để tính toán chi phí lưu trữ và truy xuất Glacier và tự mình phán đoán . Khôi phục terabyte dữ liệu từ Glacier là một triển vọng không hấp dẫn.

Thứ hai, tôi sẽ khuyên rằng với mục đích sao lưu đơn giản, bạn có thể thoát khỏi một máy chủ NAS đơn lẻ với rất nhiều ổ đĩa. Nghe có vẻ như tôi chỉ nhìn vào các tùy chọn NAS tại nhà và văn phòng nhỏ, và bạn nên xem xét việc cung cấp NAS phù hợp. Ưu tiên Dell, tôi sẽ chỉ ra Máy chủ NAS PowerVault của Dell , nhưng HP, IBM, SuperMicro và tất cả những người khác có dịch vụ tương tự. Tôi có một Dell PowerVault NX cũ hơn ở nhà, đóng vai trò là thư viện phương tiện của tôi và có mười hai đĩa SAS gần 2 TB trong đó. Những ổ đĩa SAS gần 4 TB cũng có sẵn trong những ngày này, vì vậy bạn luôn có thể lấp đầy một máy chủ NAS thích hợp với những máy chủ đó. (Hoặc mua một vài máy chủ NAS.)

Bạn có thể dễ dàng sử dụng một trong số này trên mạng LAN cục bộ của mình, cài đặt phần mềm sao lưu mà bạn chọn ( chẳng hạn như Bacula, nếu bạn thích miễn phí hoặc bất kỳ một trong số hàng chục dịch vụ thương mại nếu bạn muốn hỗ trợ của nhà cung cấp) và sử dụng một khối lượng RAID lớn như của bạn mục tiêu dự phòng. Sau đó, bạn có thể sử dụng dịch vụ sao lưu đám mây để sao lưu máy chủ NAS này và có các lợi ích của sao lưu cục bộ và từ xa. Một lần nữa, đây là những gì tôi làm ở nhà. Máy chủ NAS thích hợp, terabyte dữ liệu được sao lưu vào dịch vụ đám mây.

Và tất nhiên, bạn cũng có thể sử dụng băng từ ... mua ổ đĩa hoặc thư viện băng LTO - cá nhân tôi sẽ cố gắng hết sức để tránh băng hoặc đĩa quang, nhưng chúng là những lựa chọn hợp pháp và có thể rẻ hơn đĩa giải pháp -to-đĩa.

Cuối cùng, tôi sẽ đề nghị bạn cần xem xét nhược điểm chính của dịch vụ sao lưu đám mây, đó là kích thước của đường ống internet của bạn. Có thể mất vài tuần hoặc vài tháng để tải lên hàng terabyte dữ liệu qua kết nối internet của bạn và / hoặc phải chịu thêm phí từ ISP của bạn. Vì vậy, trong khi chúng là một lựa chọn khả thi để sao lưu dữ liệu, ngay cả dữ liệu doanh nghiệp, đó là một hạn chế mà hầu hết mọi người không xem xét cho đến khi họ đã nhấn nó.


+1. Glacier là lưu trữ - nó nghiêm túc S ​​++++ để sao lưu. Sao lưu có nghĩa là không khôi phục cho các lứa tuổi, sau đó RẤT NHIỀU - và hạn ngạch 5% có nghĩa là thanh toán trong trường hợp khôi phục.
TomTom

1

Tôi nghĩ rằng nó phụ thuộc vào ngân sách của bạn. Nếu bạn chỉ có thể chi ~ $ 6k, bạn có thể cần phải xây dựng NAS của riêng mình. Tôi sẽ xem xét Nas4free và những gì một máy chủ chi phí cho bạn. Nếu bạn có thể chi $ 20k, có lẽ bạn có thể lấp đầy một máy chủ với một loạt đĩa và thẻ RAID hoặc phần mềm RAID tốt trong Linux hoặc bất cứ thứ gì.

Với khoảng 40 nghìn đô la, bạn có thể có 1U cao cấp (IBM x3550 M4, 2 cổng Emulex 10GBit nic, 4 Gbit NIC, RAM 128GB, 2 đĩa 10k SAS cục bộ) với 10Gbit iSCSI vào hộp SAN Infortrend với 24 đĩa SAS 4TB lát và xúc xắc tuy nhiên bạn muốn. RAID6 là một cấu hình hợp lý.

Băng cũng là một ý tưởng tốt, nhưng tôi không biết nó thực sự rẻ như thế nào. Nó phụ thuộc vào mức độ lớn của một thư viện bạn nhận được. Nếu thư viện băng 48 tốt, bạn có thể làm lại điều đó với thẻ 1U và thẻ SAS bên ngoài với giá $ 30k và 2 ổ LTO6 ... Nhưng sau đó, bạn cần giấy phép phần mềm để quản lý sao lưu băng hoặc thứ gì đó. Tôi chỉ sử dụng NetBackup, có lẽ không phù hợp với bạn ở đây. Chỉ cần đừng quên bạn có thể muốn lái xe thư viện băng một cách nào đó trong phần mềm. Nhưng một khi bạn ra khỏi thư viện, đừng quên tìm băng và tải nó lên, cộng với khu vực tổ chức để truy cập ...

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.