Giải pháp lưu trữ theo tầng tự động tại nhà với Linux? (Bộ nhớ -> SSD -> HDD -> bộ nhớ từ xa)

13

Liên quan đến câu hỏi này về việc sử dụng SSD cho hệ thống và ổ cứng cho dữ liệu , ngoại trừ tôi muốn hệ thống của mình tự động làm điều này ...

Có thể có một vài lớp lưu trữ và đẩy các mục tự động giữa chúng, sử dụng phần mềm nguồn mở, miễn phí tốt nhất không?

Tôi biết các giải pháp cấp doanh nghiệp cực kỳ tốn kém như lưu trữ tự động EMC SAN-> EMC Centera , nhưng tôi đã tự hỏi liệu loại lưu trữ theo giai đoạn này có thể tự động thực hiện hay không.

Sẽ thật tuyệt nếu có thể có một vài lớp trong này: Bộ nhớ-> SSD-> HDD-> ổ cứng hoặc băng chậm hơn hoặc một số giải pháp lưu trữ khác.

Có bất kỳ hệ thống tập tin có thể làm điều này tự động? (ZFS, Btrfs, HAMmer?)

Bất kỳ phiên bản Unix nào đều ổn, vì tôi quan tâm đến cách thức hoạt động của nó và liệu nó có khả năng được chuyển sang Linux hoặc các hương vị khác (BSD, v.v.) không.

linux  unix  ssd  archive  storage 
— David Gardner
nguồn

Câu trả lời:

14

Chà, ZFS sử dụng một lớp lưu trữ được gọi là Hybrid Storage Pool (HSP) :

  1. Lớp: bộ nhớ
  2. Lớp: Bộ nhớ đọc dựa trên SSD (L2ARC) và bộ đệm ghi (nhật ký mục đích riêng biệt hay còn gọi là slog).
  3. Lớp: đĩa cứng (giá rẻ)

Với HSP, nó dễ dàng tự động hưởng lợi từ các lợi thế của SSD so với giải pháp chỉ dành cho ổ cứng. Một hệ thống sử dụng HSP có thể nhanh hơn và rẻ hơn hệ thống sau. Xem liên kết này để biết một số ví dụ đẹp và biết thêm chi tiết.

Tôi nghĩ rằng có các kế hoạch liên quan đến quản lý lưu trữ phân cấp (HSM) cho ZFS (ví dụ: xem dự án OpenSolaris Di chuyển dữ liệu tự động (ADM) ) nhưng tôi không biết trạng thái hiện tại của nó.

— knweiss
nguồn
Đây chỉ là những gì tôi đã nghĩ đến, cảm ơn! (Bây giờ để trợ giúp trên cổng Linux ...;)
— David Gardner
Tôi sẽ không gọi đây là phân tầng nhưng bộ nhớ đệm. Theo nghĩa là bộ nhớ đệm có nghĩa là giữ một bản sao của các khối được sử dụng thường xuyên, phân tầng di chuyển dữ liệu sang lưu trữ chậm hơn / nhanh hơn. Tôi sẽ không gọi nhật ký ý định trong ZFS là bộ đệm ghi thực sự nếu tôi hiểu đúng.
— mrossi
5

TIER dường như đáp ứng nhu cầu của bạn Đây là một mô-đun hạt nhân linux có thể tạo ra một bộ lưu trữ theo tầng. Nó dường như tự học theo mẫu và tối ưu hóa vị trí vào bộ lưu trữ

http://www.lessfs.com/wordpress/?p=776

— Dolanor
nguồn
Chỉ thấy câu hỏi đã cũ ... Xin lỗi ^^ '
— Dolanor
2
Hồi sinh những câu hỏi cũ tốt hơn là sau đó thối rữa với thông tin cũ và lỗi thời về chúng!
— David Gardner
Tôi lo lắng rằng anh chàng này muốn giảm sự dư thừa vì lợi ích của dung lượng tăng thêm (đặc biệt là khi SSD tương đối nhỏ và không đáng tin cậy).
— Tobu
Cũng lo lắng rằng ông đề nghị đột kích là giải pháp, khi phần mềm thử nghiệm cần sao lưu nhất.
— Tobu
Đây là một chút thông tin phản hồi tích cực hơn: permalink.gmane.org/gmane.comp.file-systems.ceph.devel/8316
— Tobu
1

Trả lời câu hỏi của riêng tôi với một cái gì đó tôi vừa tìm thấy:

Tôi vừa cập nhật kernel và xem xét những thứ mới đã được thêm vào, và giờ đây đã có tùy chọn 'CACHEFILES' cho phép lưu trữ hệ thống tập tin (thường là từ xa) vào hệ thống tập tin cục bộ. Tôi đoán rằng tôi có thể sử dụng điều này để lưu trữ cơ chế lưu trữ chậm hơn (HDD) sang cơ chế nhanh hơn (SSD), ít nhất là cho một cấp độ phân cấp.

— David Gardner
nguồn
Bạn đã thử giải pháp này? Nó thực hiện như thế nào?
— skolima
1
Nevermind - Tôi phát hiện ra rằng CacheFS bây giờ chỉ hỗ trợ NFS và AFS.
— skolima
Sử dụng các hệ thống tập tin mạng cho điều này không phải là một ý tưởng tồi, chúng có xu hướng trưởng thành nhanh hơn nhiều so với các bản vá kernel. Tôi tự hỏi nếu Ceph hoặc DRBD có các chế độ hữu ích để lưu trữ theo tầng.
— Tobu
1

Một số liên kết có liên quan. YMMV.

http://code.google.com.vn/p/fscops/ - "Trình quản lý lưu trữ phân cấp trực tuyến (OHSM) là nỗ lực đầu tiên đối với trình quản lý lưu trữ dữ liệu nguồn mở cấp doanh nghiệp, tự động di chuyển dữ liệu giữa lưu trữ chi phí cao và chi phí thấp phương tiện truyền thông.".

http://www.tack.ch/unix/dmapi/ - XFS + DMAPI trong Linux

http://jfs.sourceforge.net/ - JFS + DMAPI trong Linux

— sendmoreinfo
nguồn
Dự án OHSM trông giống như một dự án thú vị để theo dõi. Hiện tại chỉ có ext2 và kernel 2.6.30 được hỗ trợ, nhưng tôi hy vọng nếu nó hoạt động tốt thì điều này sẽ thu được nhiều hệ thống tập tin hơn.
— David Gardner
Dự án đó có vẻ bị bỏ hoang, hoạt động gần đây nhất là vào năm 2009.
— sendmoreinfo
0

Ảnh chụp nhanh LVM2 xuất hiện trong tâm trí ... nhưng bạn thực sự không thể làm gì hơn một ảnh chụp nhanh.

— nhuộm
nguồn
0

SAM-QFS là sản phẩm hiện có của Sun và đã có nguồn mở vào năm ngoái. Đó là CDDL, vì vậy bạn chỉ có thể chuyển trực tiếp sang * BSD.

— TRS-80
nguồn
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookie và Chính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.