Tối ưu hóa hiệu suất BCP cho dữ liệu BLOB

Tôi đang trong quá trình lập kế hoạch di chuyển trực tiếp cơ sở dữ liệu 2TB sang các bảng được phân đoạn. Hệ thống nói chung là một cửa hàng tài liệu, phần lớn không gian được phân bổ cho các LOB trong khoảng từ 50kb đến 500kb, với một tỷ lệ nhỏ trong phạm vi 500kb đến 1MB. Một phần của việc di chuyển sẽ liên quan đến dữ liệu BCPing từ cơ sở dữ liệu cũ sang mới.

BCP là cách tiếp cận ưa thích vì sự phân chia hiện tại / lịch sử trong dữ liệu cho phép trích xuất dữ liệu cũ theo các giai đoạn (trong giai đoạn yên tĩnh hơn) trước khi chuyển đổi cuối cùng, giảm thiểu tác động lên hệ thống trực tiếp. Khối lượng dữ liệu và tính sẵn có của bộ lưu trữ ngăn chặn việc xây dựng lại tại chỗ thành sơ đồ phân vùng .

Tôi nghi ngờ có thể có một số hiệu suất đạt được bằng cách thử nghiệm với KILOBYTES_PER_BATCH thay vì ROWS_PER_BATCH, do nội dung BLOB. Nó được đề xuất trong tài liệu BCP rằng SQL có thể tối ưu hóa các hoạt động dựa trên giá trị này.

Những gì tôi không thể tìm thấy là bất kỳ hướng dẫn nào về bản chất của những tối ưu hóa này hoặc nơi bắt đầu thử nghiệm của tôi. Trong phạm vi đề xuất, tôi sẽ thử chạy ngắn ở ranh giới 4/8/16 / 64mb để bắt đầu.

Có lẽ một số lợi ích là từ việc thay đổi kích thước gói (tham số BCP -a, thay vì cài đặt cấp độ máy chủ) nhưng tôi có xu hướng tăng mức này lên tối đa 65535 trừ khi bất kỳ ai có cách tiếp cận công thức hơn.

Đây không phải là câu trả lời trực tiếp cho câu hỏi của bạn, nhưng có một số bài viết mà bạn sẽ được hưởng lợi từ việc đọc chúng (trong trường hợp bạn không tìm thấy chúng trước :-)). Chúng là về việc tải rất nhiều dữ liệu bằng cách sử dụng bcp / bản sao số lượng lớn. Tôi đã đọc tất cả và tôi không tìm thấy bất cứ điều gì chi tiết về KILOBYTES_PER_BATCH, tất cả họ đều sử dụng ROWS_PER_BATCH, nhưng tôi chắc chắn bạn sẽ tìm thấy thông tin hữu ích khác.

• Tải 1TB trong vòng chưa đầy 1 giờ (từ nhóm CAT CAT) - danh sách các lời khuyên từ đây (trích dẫn):

  • Chạy nhiều quá trình tải như bạn có sẵn CPU. Nếu bạn có 32 CPU, hãy chạy 32 tải song song. Nếu bạn có 8 CPU, hãy chạy 8 tải song song.
  • Nếu bạn có quyền kiểm soát việc tạo các tệp đầu vào của mình, hãy đặt chúng có kích thước chia hết cho số lượng luồng tải bạn muốn chạy song song. Đồng thời đảm bảo tất cả các bản ghi thuộc về một phân vùng nếu bạn muốn sử dụng chiến lược phân vùng chuyển đổi.
  • Sử dụng chèn BULK thay vì BCP nếu bạn đang chạy quy trình trên máy chủ SQL.
  • Sử dụng phân vùng bảng để tăng thêm 8-10%, nhưng chỉ khi các tệp đầu vào của bạn được ĐẢM BẢO để khớp với chức năng phân vùng của bạn, nghĩa là tất cả các bản ghi trong một tệp phải nằm trong cùng một phân vùng.
  • Sử dụng TABLOCK để tránh hàng tại một thời điểm khóa.
  • Sử dụng ROWS PER BATCH = 2500 hoặc thứ gì đó gần đây nếu bạn đang nhập nhiều luồng vào một bảng.

• 10 thực tiễn tốt nhất để xây dựng kho dữ liệu quan hệ quy mô lớn (từ nhóm CAT CAT) - lời khuyên (trích dẫn):

  • Sử dụng mô hình khôi phục SIMPLE hoặc BULK LOGGED trong quá trình tải dữ liệu ban đầu.
  • Tạo bảng thực tế được phân vùng với chỉ mục Clustered.
  • Tạo các bảng phân tầng không được lập chỉ mục cho mỗi phân vùng và các tệp dữ liệu nguồn riêng biệt để điền vào từng phân vùng.
  • Đặt song song các bảng phân tầng (Sử dụng nhiều tác vụ BULK INSERT, BCP hoặc SSIS)
  • Xây dựng một chỉ mục được nhóm trên mỗi bảng phân tầng, sau đó tạo các ràng buộc KIỂM TRA thích hợp.
  • SWITCH tất cả các phân vùng vào bảng được phân vùng.
  • Xây dựng các chỉ mục không phân cụm trên bảng được phân đoạn.

• Hướng dẫn hiệu suất tải dữ liệu (từ nhóm SQL CAT)

• Tải dữ liệu hàng loạt vào bảng được phân vùng - Bài viết về thực tiễn tốt nhất của máy chủ SQL (bài viết về kỹ thuật)

• Nghiên cứu tình huống tải hàng loạt tăng dần của SQL Server 2000 (Bài viết về kỹ thuật)

• Bài học kinh nghiệm và phát hiện từ một POC theo dõi nhanh lớn (từ nhóm CAT CAT)

• Mẹo điều chỉnh hiệu suất cho BCP máy chủ SQL (Tác giả Brad McGehee)

• Tác động hiệu suất: Tìm kích thước hàng loạt tối ưu nhất (Tác giả Linchi Shea)

và các tham chiếu MSDN rõ ràng:

• Quản lý hàng loạt cho nhập hàng loạt
• Quản lý hàng loạt kích thước hàng loạt sao chép
• Xem xét hiệu suất sao chép hàng loạt
• Nguyên tắc tối ưu hóa nhập hàng loạt
• Tối ưu hóa hiệu suất nhập hàng loạt

Theo kinh nghiệm cá nhân của tôi, tôi đã thành công trong việc tạo tải dữ liệu nhanh bằng cách sử dụng tải song song và thử nghiệm với nhiều kích cỡ lô. Tôi đoán rằng chỉ có thử nghiệm cá nhân sẽ phù hợp với bạn. Hy vọng bạn sẽ tìm thấy một số lời khuyên tốt trong các tài liệu tham khảo.