Sử dụng không gian thô của CEPH

Tôi không thể hiểu sử dụng không gian thô ceph.

Tôi có 14 ổ cứng (14 OSD) trên 7 máy chủ, tổng dung lượng 3 GB cho mỗi ổ cứng ~ 42 TB.

ceph -s 
     osdmap e4055: 14 osds: 14 up, 14 in
      pgmap v8073416: 1920 pgs, 6 pools, 16777 GB data, 4196 kobjects
            33702 GB used, 5371 GB / 39074 GB avail

Tôi đã tạo 4 thiết bị khối, mỗi thiết bị 5 TB:

df -h
 /dev/rbd1       5.0T  2.7T  2.4T  54% /mnt/part1
/dev/rbd2       5.0T  2.7T  2.4T  53% /mnt/part2
/dev/rbd3       5.0T  2.6T  2.5T  52% /mnt/part3
/dev/rbd4       5.0T  2.9T  2.2T  57% /mnt/part4

df cho thấy tổng cộng 10,9 TB được sử dụng, ceph cho thấy 33702 GB được sử dụng. Nếu tôi có 2 bản thì phải ~ 22 TB, nhưng hiện tại tôi đã sử dụng 33,7 TB - bỏ lỡ 11 TB.

ceph osd pool get archyvas size
size: 2


ceph df
GLOBAL:
    SIZE       AVAIL     RAW USED     %RAW USED
    39074G     5326G       33747G         86.37
POOLS:
    NAME          ID     USED      %USED     MAX AVAIL     OBJECTS
    data          0          0         0         1840G           0
    metadata      1          0         0         1840G           0
    archyvas      3      4158G     10.64         1840G     1065104
    archyvas2     4      4205G     10.76         1840G     1077119
    archyvas3     5      3931G     10.06         1840G     1006920
    archyvas4     6      4483G     11.47         1840G     1148291

Chặn thiết bị và OSD FS - XFS

Một nguồn có thể gây nhầm lẫn là GB so với GiB / TB so với TiB (cơ sở 10 / cơ sở 2), nhưng điều đó không thể giải thích tất cả sự khác biệt ở đây.

Ceph / RBD sẽ cố gắng "lười biếng" phân bổ không gian cho khối lượng của bạn. Đây là lý do tại sao mặc dù bạn đã tạo bốn khối lượng 5TB, nó báo cáo 16TB được sử dụng chứ không phải 20. Nhưng 16TB nhiều hơn tổng số nội dung "hoạt động" của các hệ thống tệp được hỗ trợ RBD của bạn, chỉ khoảng 11TB, như bạn nói. Một số điều cần lưu ý:

Khi bạn xóa các tệp trong các hệ thống tệp được hỗ trợ RBD, các hệ thống tệp sẽ đánh dấu bên trong các khối là miễn phí, nhưng thường không cố gắng "trả lại" chúng cho thiết bị khối bên dưới (RBD). Nếu phiên bản RBD kernel của bạn đủ gần đây (3.18 hoặc mới hơn), bạn sẽ có thể sử dụng fstrimđể trả lại các khối được giải phóng cho RBD. Tôi nghi ngờ rằng bạn đã tạo và xóa các tệp khác trên các hệ thống tệp này, phải không?

Ngoài ra còn có một số chi phí hệ thống tập tin vượt quá mức sử dụng dữ liệu ròng được hiển thị bởi df. Bên cạnh "superblocks" và các cấu trúc dữ liệu bên trong hệ thống tập tin khác, một số chi phí sẽ được dự kiến ​​từ mức độ chi tiết mà RBD phân bổ dữ liệu. Tôi nghĩ RBD sẽ luôn phân bổ các khối 4 MB, ngay cả khi chỉ một phần trong số đó được sử dụng.

Tôi không phải là chuyên gia ceph nhưng hãy để tôi đoán một chút.

Các thiết bị khối không được gắn mà không có discardtùy chọn. Vì vậy, bất kỳ dữ liệu nào bạn viết và xóa không hiển thị trên hệ thống tập tin ( /mnt/part1), nhưng vì nó đã được ghi và không được cắt xén, nó vẫn nằm trên hệ thống tập tin cơ bản.

Nếu bạn nhìn vào USEDcác nhóm của mình và thêm chúng lại với nhau, bạn sẽ nhận được 16777GB, tương đương với những gì ceph -shiển thị. Và nếu bạn nhân số đó với hai (hai bản sao), bạn sẽ nhận được 33554GB, tức là không gian được sử dụng khá nhiều.