Hệ thống tệp ổn định rock cho các tệp lớn (bản sao lưu) cho linux


18

Hệ thống tập tin nào là tốt nhất để sao lưu? Tôi quan tâm chính đến tính ổn định (đặc biệt là không thể sửa chữa các tệp trong quá trình khởi động lại cứng, v.v.) nhưng cách xử lý hiệu quả các tệp lớn (> 5GB) cũng rất quan trọng.

Ngoài ra, tôi nên sử dụng tham số mount nào?

Hạt nhân là Linux> = 2.6.34.

EDIT: Tôi không muốn phương thức sao lưu. Tôi cần hệ thống tập tin để lưu trữ chúng.


Bao nhiêu dữ liệu bạn đang sao lưu hàng ngày, hàng tuần, hàng tháng? Bạn dự định giữ lại bao nhiêu dữ liệu và trong bao lâu?
Stefan Lasiewski

Nó có phải là Linux không? Bạn đã xem xét ZFS (Phiên bản 14 cũ hơn, ổn định) trên FreeBSD 8.1 chưa?
Stefan Lasiewski

Đây là bộ lưu trữ dự phòng tạm thời cho máy tính xách tay - cho đến khi nó sẽ được gửi đến ổ cứng ngoài. Kể từ FreeBSD - mặc dù nó là một hệ thống tuyệt vời nhưng nó không phù hợp với tôi trong ứng dụng này.
Maciej Piechotka

Câu trả lời:


13

Bạn có thể sử dụng ext4 nhưng tôi khuyên bạn nên gắn với journal_datachế độ sẽ tắt dealloc (phân bổ chậm), điều này gây ra một số vấn đề trước đó. Việc vô hiệu hóa dealloc sẽ làm cho dữ liệu mới ghi chậm hơn, nhưng làm cho việc ghi trong trường hợp mất điện ít có khả năng bị mất. Tôi cũng nên đề cập rằng bạn có thể vô hiệu hóa dealloc mà không cần sử dụng journal_datamột số lợi ích khác (hoặc ít nhất là nó đã làm trong ext3), chẳng hạn như đọc được cải thiện một chút và tôi tin rằng phục hồi tốt hơn.

Mức độ vẫn sẽ giúp phân mảnh. Các phần mở rộng giúp xóa các tệp lớn nhanh hơn nhiều so với ext3, việc xóa bất kỳ dữ liệu có kích thước nào (tệp đơn) sẽ ở gần tức thời trên ext4 nhưng có thể mất nhiều thời gian trên ext3. (bất kỳ mức độ nào dựa trên FS đều có lợi thế này)

ext4 cũng fscknhanh hơn ext3.

Một lưu ý cuối cùng, có lỗi trong ext4 lên đến 2.6.31 không? Về cơ bản tôi sẽ đảm bảo rằng bạn không chạy kernel trước 2.6.32, đó là kernel LTS.


Nếu chọn "đá rắn" ext4, có thể đáng để xem xét các mertis và rủi ro liên quan đến on disk layoutan toàn dữ liệu của nó và do đó an toàn dữ liệu (một khía cạnh bị từ chối ở đây )
humanityANDpeace

5

XFS là đá rắn và đã có trong kernel từ lâu. Kiểm tra các công cụ như xfs_freeze và xem nếu đó là những gì bạn đang tìm kiếm. Tôi biết điều này rất chủ quan nhưng tôi đã sử dụng XFS để lưu trữ dữ liệu trong nhiều năm mà không có sự cố.


2
dựa trên câu trả lời của tôi, tôi muốn lưu ý rằng XFS là phạm vi dựa trên và mang nhiều lợi thế giống như ext4. Tuy nhiên, tôi muốn đề cập rằng nó có cùng các vấn đề với dealloc mà ext4 có thể có, điều này có thể dẫn đến mất dữ liệu trong kịch bản kéo. Tôi không biết liệu dealloc có thể bị vô hiệu hóa trong XFS hay không.
xenoterracide

Vâng, tôi không chắc bạn có thể tắt tính năng này hay không, nhưng tiện ích xfs_freeze đảm bảo hình ảnh đĩa ổn định. Từ trang man: Cờ -f yêu cầu hệ thống tệp XFS được chỉ định bị đóng băng khỏi các sửa đổi mới. Khi được chọn, tất cả các giao dịch đang diễn ra trong hệ thống tệp được phép hoàn thành, các cuộc gọi hệ thống ghi mới bị tạm dừng, các cuộc gọi khác sửa đổi hệ thống tệp bị tạm dừng và tất cả dữ liệu bẩn, siêu dữ liệu và thông tin nhật ký được ghi vào đĩa. Bất kỳ quá trình nào cố gắng ghi vào hệ thống tệp bị đóng băng sẽ chặn chờ hệ thống tệp bị đóng băng.
dsp

Tôi ít quan tâm đến vấn đề tham nhũng giữa các tập tin miễn là hoạt động tuôn ra.
Maciej Piechotka

3

Chỉ cần sử dụng một công cụ sao lưu hỗ trợ tổng kiểm tra. Ví dụ Dar làm, và nó hỗ trợ sao lưu gia tăng. Sau đó, bạn có thể sao lưu vào một hệ thống tập tin rắn như ext3.

Để sao lưu, bạn muốn một cái gì đó đá rắn / rất ổn định. Và btrfs hoặc ZFS đơn giản là không sẵn sàng ngày hôm nay.


Tôi đếm nó là ext3
Maciej Piechotka

0

btrfs có kiểm tra minh bạch dữ liệu được ghi vào đĩa và chế độ ghi nhanh được đặt hàng luôn bật (và nhiều tính năng thân thiện với sao lưu khác) khiến nó hấp dẫn để sao lưu. Xem https://btrfs.wiki.kernel.org/index.php/Main_Page để biết thêm chi tiết.


Hừm. Mặc dù nó có thể là một câu trả lời tốt trong tương lai, tôi không nghĩ btrfs hay zfs ổn định trên Linux ngay bây giờ.
Maciej Piechotka

Tôi đã có các btrfs được đề xuất cho tôi bởi người dùng kernel. Lần cuối tôi biết người bảo trì Mercurial đã chạy nó trên ít nhất một máy toàn thời gian. Tôi sử dụng ZFS qua FUSE hàng ngày và nó rất ổn, nếu chậm một chút vì FUSE.
durin42

1
btrfs trên định dạng đĩa chưa ổn định ... Tôi sẽ không đề xuất nó cho đến khi nó đã thay đổi. Lập trình viên hạt nhân có thể chạy tất cả các loại điên rồ.
xenoterracide

ZFS có thể ổn định ... nhưng do điều FUSE nên tôi không bận tâm đến nó.
xenoterracide

1
ZFS trên FUSE là một hack. Nó có thể là một hack tốt, tôi sẽ không tin tưởng vào dữ liệu kinh doanh quan trọng của bạn. Ngoài ra, ZFS trên FUSE có một số vấn đề về tốc độ và tốc độ rất quan trọng khi bạn sao lưu terabyte dữ liệu.
Stefan Lasiewski

0

Một khía cạnh rất quan trọng mà tôi chưa thấy được thảo luận trong các câu trả lời khác là các tính năng ổn định của bố cục trên đĩa của hệ thống tệp (ví dụ: xem xét tư vấn tài liệu của các canditates có thể ext4 , btrfs )

Mặc dù codebase và số lượng kiểm tra trình điều khiển hệ thống tập tin codebase, thực sự quan trọng như các câu trả lời khác cho thấy, vì nó bảo vệ dữ liệu trong khi đọc và ghi , định dạng / định dạng đĩa là bảo vệ chống lại rủi ro cho dữ liệu của bạn ở phần còn lại, đó là các dạng của sự cố phần cứng như các khu vực không thể đọc được, hoặc mục nát bit im lặng .

Đối với ext4, được cho là có các đặc điểm tốt liên quan đến codebase đã được thử nghiệm từ lâu ( https://events.static.linuxfound.org/sites/events/files/slides/AFL%20filesystem%20fuzzing%2C%20Vault%202016_0. pdf cho thấy mất nhiều thời gian hơn để tìm ra lỗi trong đó so với hiện đại và phức tạp hơn btrfs), tôi đã xem xét khả năng chống ext4 khi nghỉ ngơi và tìm thấy một số thiếu sót của imho, của hệ thống tập tin được ca ngợi khác.

Tôi sẽ xem xét nó một cách thận trọng (nếu được chọn ext4là " fs sao lưu vững chắc cho đá ") để cải thiện khả năng phục hồi (mặc dù "làm cứng nó") bằng cách sử dụng e2imagecông cụ mà các nhà phát triển ext4cung cấp

Chương trình e2image sẽ lưu siêu dữ liệu hệ thống tập tin ext2, ext3 hoặc ext4 quan trọng nằm trên thiết bị vào một tệp được chỉ định bởi tệp hình ảnh. Tệp hình ảnh có thể được kiểm tra bởi dumpe2fs và debugfs, bằng cách sử dụng tùy chọn -i cho các chương trình đó. Điều này có thể hỗ trợ một chuyên gia trong việc phục hồi các hệ thống tập tin bị hỏng nghiêm trọng. Trong tương lai, e2fsck sẽ được tăng cường để có thể sử dụng tệp hình ảnh để giúp phục hồi hệ thống tệp bị hỏng nặng.

đề nghị .

Bạn nên tạo các tệp hình ảnh cho tất cả các hệ thống tệp trên một hệ thống và lưu bố cục phân vùng (có thể được tạo bằng lệnh fdisk -l) theo các khoảng thời gian đều đặn --- vào lúc khởi động và / hoặc mỗi tuần hoặc vì thế. Tệp hình ảnh phải được lưu trữ trên một số hệ thống tệp khác với hệ thống tệp có dữ liệu chứa, để đảm bảo dữ liệu này có thể truy cập được trong trường hợp hệ thống tệp bị hỏng nặng.

Xem xét rằng thậm chí không phải tất cả dữ liệu meta của ext4 bố cục đĩa đều được cung cấp dự phòng (tức là siêu khối được lưu trữ nhiều lần dưới dạng bản sao, chỉ được lưu trữ ở đúng 1 vị trí), ext4chắc chắn là vô sinh btrfssẽ cung cấp ít nhất tổng kiểm tra cho tất cả siêu dữ liệu + dữ liệu nội dung tập tin .

Để chống lại "sự thiếu sót" này ext4và làm cho nó trở thành một rock-solidđiều nữa trong khía cạnh bố trí đĩa , có thể hợp lý để bổ sung sự dư thừa và phục hồi này cho nội dung tệp thông qua par2/ parchive

Mặc dù câu hỏi đòi hỏi sự tập trung vào các giải pháp hệ thống tập tin, tôi muốn chú ý rằng hầu hết những gì hệ thống tập tin cung cấp (bộ đệm, tạp chí, lấy lại không gian được phân bổ, phân bổ các khối, v.v.) không nhất thiết là thứ mà dữ liệu sao lưu sẽ được hưởng lợi từ nhiều khi chỉ được viết và đọc với số lượng lớn và rarley. Vì vậy, tôi sẽ xem xét sử dụng một bản sao lưu parchivebổ sung tarnhư là giải pháp sao lưu tối ưu hơn, vì codebase được sử dụng trong quá trình es đã giảm và do đó sẽ có ít lỗi hơn nếu có ít "tính năng" hơn.

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.