Loại bỏ ảnh chụp cực kỳ chậm

Tôi có một hộp ESXi với bộ lưu trữ HP LeftHand được hiển thị qua iSCSI.

Tôi có một máy ảo với đĩa 1TB, trong đó 800GB được tiêu thụ. Đĩa được cung cấp dày trên bộ lưu trữ LeftHand.

Một ảnh chụp nhanh đã được mở trên VM (để Veeam Backup and Recovery có thể thực hiện công việc của nó) và đã mở trong khoảng 6 giờ. Một đĩa delta khoảng 5GB đã được tạo trong thời gian này.

Việc xóa ảnh chụp nhanh hiện đã mất hơn 5 giờ và vẫn chưa hoàn tất. Mảng lưu trữ đang báo cáo hầu như không có IOPS trên mảng đó (khoảng 600, là nhiễu nền), không có thông lượng (khoảng 8MB / giây, một lần nữa - nhiễu nền), độ sâu hàng đợi trung bình là 9.

Nói cách khác, quá trình hợp nhất ảnh chụp nhanh dường như không bị ràng buộc IO, tôi không thể thấy bất cứ điều gì khiến quá trình xóa ảnh chụp nhanh quá chậm. Nó đang làm việc, đánh giá bằng cách xem các tập tin delta.

Bất cứ điều gì khác mà tôi nên xem là tại sao ảnh chụp nhanh (tương đối nhỏ) này lại bị xóa quá chậm?

Theo tài liệu VMWare , tôi đang xem ls -lh | grep -E "delta|flat|sesparse"ngay bây giờ và tôi thấy hai tệp delta đang thay đổi:

-rw-------    1 root     root      194.0M Jun 15 01:28 EXAMPLE-000001-delta.vmdk
-rw-------    1 root     root      274.0M Jun 15 01:27 EXAMPLE-000002-delta.vmdk

Tôi đang suy luận rằng một tập tin ảnh chụp nhanh đang được hợp nhất trong khi tập tin kia thu thập delta trong quá trình hợp nhất. Sau đó, cái mới được hợp nhất và một delta khác được tạo ra trong quá trình đó.

Kích thước tệp đang giảm theo mỗi lần lặp (tốt, hầu hết các lần lặp), vì vậy tôi cho rằng cuối cùng quy trình hợp nhất này sẽ hoàn tất (có thể tôi sẽ phải tắt VM trong 30 phút để kết thúc mà không tạo ra bất kỳ thay đổi nào) .

Mất khoảng 2 phút cho hàng trăm megs delta để hợp nhất. Điều này chắc chắn chưa bao giờ xảy ra trước đây. Xóa ảnh chụp nhanh trong bản sao lưu Veeam bình thường mất khoảng 40 phút (vì vậy chắc chắn không nhanh, nhưng không chậm như vậy).

Sau 6 giờ 2 phút, ảnh chụp nhanh cuối cùng cũng được gỡ bỏ. Tuy nhiên tôi vẫn muốn biết liệu có cách nào bạn thường khắc phục sự cố loại này không (ngoài hiệu suất lưu trữ).

— Đánh dấu Henderson
nguồn

Tôi không thể nhận thấy rằng 8Mbit / giây khá gần với mạng 10Mbit / giây trừ đi một số chi phí. Bất kỳ cơ hội nào đây là một vấn đề liên quan đến mạng trên liên kết iSCSI - bản vá lỗi tinh ranh chỉ bắt đầu thất bại? Đây có phải là một liên kết đơn, một máy chủ duy nhất, máy chủ có hoạt động tốt không khi đọc / ghi liên tục? Bạn có thể kiểm tra cổng chuyển đổi cho các lỗi?

— TessellatingHeckler

@TessellatingHeckler Tôi mới thực hiện một số thử nghiệm và tôi vẫn có thể nhận được tuần tự khoảng 1,5Gbit / giây từ mảng, đó là những gì tôi mong đợi nhận được từ nó trong các trường hợp bình thường. Đêm qua, việc xóa ảnh chụp nhanh mất ba phút , nhanh nhất tôi từng thấy (bình thường là khoảng 10 lần, nhưng có một trận bóng đá lớn ở đây đêm qua nên tôi nghi ngờ rằng không ai sử dụng hệ thống sau nhiều giờ khi các bản sao lưu chạy, do đó đồng bằng nhỏ và thời gian cam kết nhỏ). Vì vậy, nó có thể làm điều đó một cách nhanh chóng, chỉ là một lần nó đã không làm.

— Mark Henderson

Hừm. Bạn có chạy VMware Storage IO Control không, và kho dữ liệu có được chia sẻ với các VM khác không? Bất kỳ cơ hội nào nó đã đạt được một số giới hạn tiết lưu / mềm ở đó, mà không gây căng thẳng cho máy chủ hoặc phần cứng SAN?

— TessellatingHeckler

Phiên bản ESXi và vCenter?

— Nils

@Nils 5.5 cho cả hai

— Mark Henderson

Theo hiểu biết của tôi thì việc xóa ảnh chụp nhanh ESXI có thể (và thường là) mất nhiều thời gian. Trước khi có thể xóa ảnh chụp nhanh, các thay đổi từ ảnh chụp nhanh cũ cần được ghi vào ảnh chụp nhanh tiếp theo theo thứ tự. Tôi được dạy phải luôn xóa các ảnh chụp nhanh từ cũ nhất đến gần đây nhất để giúp quá trình này chạy nhanh và hiệu quả nhất có thể.

Đương nhiên, càng nhiều thay đổi giữa các ảnh chụp nhanh thì việc hợp nhất sẽ diễn ra càng lâu.

— Andrew Meyer
nguồn

Phải, ngoại trừ 6 giờ để xóa ảnh chụp nhanh 5 GB là vô lý. Như tôi đã đề cập, thông thường sẽ mất khoảng 40 phút để xóa ảnh chụp nhanh và tôi thậm chí cảm thấy rằng 40 phút là quá chậm. Đây là ảnh chụp nhanh duy nhất trên VM đó và việc xóa ảnh chụp nhanh đã thay đổi trong các phiên bản sau của ESXi theo thứ tự chúng bị xóa không quá quan trọng.

— Mark Henderson

Tôi đã thấy hành vi chụp nhanh chậm trước đây với ít I / O trên bộ lưu trữ nhưng không bao giờ truy tìm nguyên nhân. Tôi luôn luôn cho rằng nhà ảo thuật đang nhai các vùng đồng bằng trong bộ nhớ. .

— voretaq7