RAID5 đã xuống cấp và không có siêu khối md trên một trong các ổ đĩa còn lại

Đây thực sự là trên một NAS QNAP TS-509. RAID về cơ bản là RAID Linux.

NAS được cấu hình với RAID 5 với 5 ổ đĩa (/ md0 với / dev / sd [abcde] 3). Tại một số điểm, / dev / sde không thành công và ổ đĩa đã được thay thế. Trong khi xây dựng lại (và chưa hoàn thành), NAS tự khởi động lại và / dev / sdc bị loại khỏi mảng. Bây giờ mảng không thể bắt đầu vì về cơ bản 2 ổ đĩa đã bị loại bỏ. Tôi đã ngắt kết nối / dev / sde và hy vọng rằng / md0 có thể tiếp tục ở chế độ xuống cấp, nhưng không may mắn .. Điều tra thêm cho thấy / dev / sdc3 không có siêu khối md. Dữ liệu phải tốt vì mảng không thể lắp ráp sau khi / dev / sdc bị loại bỏ.

Tất cả các tìm kiếm tôi thực hiện cho thấy làm thế nào để lắp lại mảng giả sử 1 ổ đĩa xấu. Nhưng tôi nghĩ rằng tôi chỉ cần khôi phục siêu khối trên / dev / sdc3 và điều đó sẽ đưa mảng lên chế độ xuống cấp, cho phép tôi sao lưu dữ liệu và sau đó tiến hành xây dựng lại bằng cách thêm / dev / sde.

Mọi sự trợ giúp sẽ rất được trân trọng.

mdstat không hiển thị / dev / md0

# cat /proc/mdstat 
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] [multipath] 
md5 : active raid1 sdd2[2](S) sdc2[3](S) sdb2[1] sda2[0]
      530048 blocks [2/2] [UU]

md13 : active raid1 sdd4[3] sdc4[2] sdb4[1] sda4[0]
      458880 blocks [5/4] [UUUU_]
      bitmap: 40/57 pages [160KB], 4KB chunk

md9 : active raid1 sdd1[3] sdc1[2] sdb1[1] sda1[0]
      530048 blocks [5/4] [UUUU_]
      bitmap: 33/65 pages [132KB], 4KB chunk

mdadm show / dev / md0 vẫn còn đó

# mdadm --examine --scan
ARRAY /dev/md9 level=raid1 num-devices=5 UUID=271bf0f7:faf1f2c2:967631a4:3c0fa888
ARRAY /dev/md5 level=raid1 num-devices=2 UUID=0d75de26:0759d153:5524b8ea:86a3ee0d
   spares=2
ARRAY /dev/md0 level=raid5 num-devices=5 UUID=ce3e369b:4ff9ddd2:3639798a:e3889841
ARRAY /dev/md13 level=raid1 num-devices=5 UUID=7384c159:ea48a152:a1cdc8f2:c8d79a9c

Với / dev / sde đã bị xóa, đây là đầu ra kiểm tra mdadm cho thấy sdc3 không có siêu khối md

# mdadm --examine /dev/sda3
/dev/sda3:
          Magic : a92b4efc
        Version : 00.90.00
           UUID : ce3e369b:4ff9ddd2:3639798a:e3889841
  Creation Time : Sat Dec  8 15:01:19 2012
     Raid Level : raid5
  Used Dev Size : 1463569600 (1395.77 GiB 1498.70 GB)
     Array Size : 5854278400 (5583.08 GiB 5994.78 GB)
   Raid Devices : 5
  Total Devices : 4
Preferred Minor : 0

    Update Time : Sat Dec  8 15:06:17 2012
          State : active
 Active Devices : 4
Working Devices : 4
 Failed Devices : 1
  Spare Devices : 0
       Checksum : d9e9ff0e - correct
         Events : 0.394

         Layout : left-symmetric
     Chunk Size : 64K

      Number   Major   Minor   RaidDevice State
this     0       8        3        0      active sync   /dev/sda3

   0     0       8        3        0      active sync   /dev/sda3
   1     1       8       19        1      active sync   /dev/sdb3
   2     2       8       35        2      active sync   /dev/sdc3
   3     3       8       51        3      active sync   /dev/sdd3
   4     4       0        0        4      faulty removed
[~] # mdadm --examine /dev/sdb3
/dev/sdb3:
          Magic : a92b4efc
        Version : 00.90.00
           UUID : ce3e369b:4ff9ddd2:3639798a:e3889841
  Creation Time : Sat Dec  8 15:01:19 2012
     Raid Level : raid5
  Used Dev Size : 1463569600 (1395.77 GiB 1498.70 GB)
     Array Size : 5854278400 (5583.08 GiB 5994.78 GB)
   Raid Devices : 5
  Total Devices : 4
Preferred Minor : 0

    Update Time : Sat Dec  8 15:06:17 2012
          State : active
 Active Devices : 4
Working Devices : 4
 Failed Devices : 1
  Spare Devices : 0
       Checksum : d9e9ff20 - correct
         Events : 0.394

         Layout : left-symmetric
     Chunk Size : 64K

      Number   Major   Minor   RaidDevice State
this     1       8       19        1      active sync   /dev/sdb3

   0     0       8        3        0      active sync   /dev/sda3
   1     1       8       19        1      active sync   /dev/sdb3
   2     2       8       35        2      active sync   /dev/sdc3
   3     3       8       51        3      active sync   /dev/sdd3
   4     4       0        0        4      faulty removed
[~] # mdadm --examine /dev/sdc3
mdadm: No md superblock detected on /dev/sdc3.
[~] # mdadm --examine /dev/sdd3
/dev/sdd3:
          Magic : a92b4efc
        Version : 00.90.00
           UUID : ce3e369b:4ff9ddd2:3639798a:e3889841
  Creation Time : Sat Dec  8 15:01:19 2012
     Raid Level : raid5
  Used Dev Size : 1463569600 (1395.77 GiB 1498.70 GB)
     Array Size : 5854278400 (5583.08 GiB 5994.78 GB)
   Raid Devices : 5
  Total Devices : 4
Preferred Minor : 0

    Update Time : Sat Dec  8 15:06:17 2012
          State : active
 Active Devices : 4
Working Devices : 4
 Failed Devices : 1
  Spare Devices : 0
       Checksum : d9e9ff44 - correct
         Events : 0.394

         Layout : left-symmetric
     Chunk Size : 64K

      Number   Major   Minor   RaidDevice State
this     3       8       51        3      active sync   /dev/sdd3

   0     0       8        3        0      active sync   /dev/sda3
   1     1       8       19        1      active sync   /dev/sdb3
   2     2       8       35        2      active sync   /dev/sdc3
   3     3       8       51        3      active sync   /dev/sdd3
   4     4       0        0        4      faulty removed

đầu ra fdisk cho thấy phân vùng / dev / sdc3 vẫn còn đó.

[~] # fdisk -l

Disk /dev/sdx: 128 MB, 128057344 bytes
8 heads, 32 sectors/track, 977 cylinders
Units = cylinders of 256 * 512 = 131072 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sdx1               1           8        1008   83  Linux
/dev/sdx2               9         440       55296   83  Linux
/dev/sdx3             441         872       55296   83  Linux
/dev/sdx4             873         977       13440    5  Extended
/dev/sdx5             873         913        5232   83  Linux
/dev/sdx6             914         977        8176   83  Linux

Disk /dev/sda: 1500.3 GB, 1500301910016 bytes
255 heads, 63 sectors/track, 182401 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          66      530113+  83  Linux
/dev/sda2              67         132      530145   82  Linux swap / Solaris
/dev/sda3             133      182338  1463569695   83  Linux
/dev/sda4          182339      182400      498015   83  Linux

Disk /dev/sda4: 469 MB, 469893120 bytes
2 heads, 4 sectors/track, 114720 cylinders
Units = cylinders of 8 * 512 = 4096 bytes

Disk /dev/sda4 doesn't contain a valid partition table

Disk /dev/sdb: 1500.3 GB, 1500301910016 bytes
255 heads, 63 sectors/track, 182401 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1   *           1          66      530113+  83  Linux
/dev/sdb2              67         132      530145   82  Linux swap / Solaris
/dev/sdb3             133      182338  1463569695   83  Linux
/dev/sdb4          182339      182400      498015   83  Linux

Disk /dev/sdc: 1500.3 GB, 1500301910016 bytes
255 heads, 63 sectors/track, 182401 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sdc1               1          66      530125   83  Linux
/dev/sdc2              67         132      530142   83  Linux
/dev/sdc3             133      182338  1463569693   83  Linux
/dev/sdc4          182339      182400      498012   83  Linux

Disk /dev/sdd: 2000.3 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sdd1               1          66      530125   83  Linux
/dev/sdd2              67         132      530142   83  Linux
/dev/sdd3             133      243138  1951945693   83  Linux
/dev/sdd4          243139      243200      498012   83  Linux

Disk /dev/md9: 542 MB, 542769152 bytes
2 heads, 4 sectors/track, 132512 cylinders
Units = cylinders of 8 * 512 = 4096 bytes

Disk /dev/md9 doesn't contain a valid partition table

Disk /dev/md5: 542 MB, 542769152 bytes
2 heads, 4 sectors/track, 132512 cylinders
Units = cylinders of 8 * 512 = 4096 bytes

Disk /dev/md5 doesn't contain a valid partition table

Ôi!

Tất cả các tìm kiếm tôi thực hiện cho thấy làm thế nào để lắp lại mảng giả sử 1 ổ đĩa xấu.

Đó là bởi vì RAID5 sẽ không hoạt động với nhiều hơn một ổ đĩa bị lỗi. Bạn không thể đảm bảo khôi phục tất cả dữ liệu với hai ổ đĩa bị thiếu. Trong thực tế, nếu cả hai ổ đĩa không thể truy cập đầy đủ sẽ Thất bại. Dữ liệu đơn giản không còn nữa.

Hai lưu ý:

1. Tôi viết hoàn toàn xuống. Như trong đĩa chết, ổ đĩa bị xóa khỏi hệ thống. Không chỉ là một khu vực xấu duy nhất.
2. Các rant thông thường rằng RAID không phải là một bản sao lưu. Nếu RAID thất bại, bạn chỉ cần duy trì hệ thống đến 5 giờ chiều, sao lưu các tệp đã thay đổi kể từ lần sao lưu cuối cùng (sử dụng sao lưu gia tăng) và sau đó bạn có thể thử xây dựng lại lâu dài hoặc xây dựng lại RAID và khôi phục từ bản sao lưu. Rõ ràng là một người dùng gia đình, bạn làm mọi thứ hơi khác một chút, nhưng vấn đề tương tự vẫn tồn tại khi thực hiện xây dựng lại RAID5 và nhận URE.

( Cũng thấy Bài viết chuẩn này Serverfault và bài đăng này trên S.U. và bài đăng này trên S.U. )

Trong trường hợp của bạn, tôi thấy các tùy chọn sau:

1. Gửi các ổ đĩa đến một phòng thí nghiệm phục hồi dữ liệu rất tốn kém. Những thứ này là có thật không đắt.
2. Từ bỏ và khôi phục từ một bản sao lưu cũ.
3. Cố gắng gắn các mảng RAID với hai ổ đĩa bị thiếu.

Trước khi bạn thử tùy chọn 3: Tạo bản sao lưu của các ổ đĩa. Đặt chúng trong một hệ thống khác và sao chép các ổ đĩa bằng dd hoặc ddresTHER. Giữ những hình ảnh đó. Nếu mọi thứ thất bại, bạn có thể khôi phục lại tình hình hiện tại từ những điều này. (đọc: mọi thứ sẽ không trở nên tồi tệ hơn).

Sau đó, bạn có thể cố gắng khôi phục từ NAS hoặc từ hệ thống nơi bạn lưu trữ hình ảnh. Tạo một bản sao làm việc của chúng và sử dụng thiết bị loopback. Nếu bạn có đủ không gian đĩa thì đây là cách ưa thích, mặc dù bạn sẽ cần một nơi có gấp đôi dung lượng đĩa trống của toàn bộ NAS.

Tiếp theo đọc blog khá dài này tại http://blog.al4.co.nz/2011/03/recovering-a-ston5-mdadm-array-with-two-fails-devices/ .

Các bước thiết yếu trong đó là:
mdadm --create /dev/md1 --level=5 --raid-devices=5 /dev/sda1 /dev/sdb1 /dev/sdc1 /dev/sdd1 missing

Điều đó sẽ đánh dấu ổ 5 là mất tích. Tôi đã chọn cái đó bởi vì tôi không biết nó ở trạng thái nào sau khi xây dựng lại một phần.

Với một chút may mắn bây giờ bạn có thể gắn kết nó như một mảng xuống cấp. Sao chép tất cả dữ liệu khỏi nó, sau đó xóa mảng và xây dựng lại. Nó có thể bị treo trong quá trình sao chép dữ liệu. Trong trường hợp đó, khởi động lại, bỏ qua một vài tệp và tiếp tục. Nó là xa hoàn hảo, nhưng nếu phục hồi là đắt tiền và bạn không có bản sao lưu thì đây có thể là cách duy nhất.