Làm cách nào để chạy tập lệnh lớn với nhiều phần chèn mà không hết bộ nhớ?

Câu hỏi:

Tôi có một tập lệnh với khoảng 45 nghìn chèn từ các câu lệnh được chọn. Khi tôi thử và chạy nó, tôi nhận được một thông báo lỗi nói rằng tôi đã hết bộ nhớ. Làm thế nào tôi có thể có được kịch bản này để chạy?

Bối cảnh:

1. Đã thêm một số trường dữ liệu mới để làm cho ứng dụng phát tốt với ứng dụng khác mà khách hàng sử dụng.
2. Có một bảng tính dữ liệu từ máy khách chứa đầy dữ liệu ánh xạ các mục dữ liệu hiện tại thành các giá trị cho các trường mới này.
3. Chuyển đổi bảng tính để chèn báo cáo.
4. Nếu tôi chỉ chạy một số câu lệnh thì nó hoạt động nhưng toàn bộ tập lệnh thì không.
5. Không. Không có lỗi chính tả.

Nếu có một cách khác tôi nên tải dữ liệu này, vui lòng trừng phạt tôi và cho tôi biết.

Kích thước lô tối đa cho SQL Server 2005 là 65.536 * Kích thước gói mạng (NPS), trong đó NPS thường là 4KB. Nó hoạt động tới 256 MB. Điều đó có nghĩa là các câu lệnh chèn của bạn sẽ trung bình 5,8 KB mỗi câu. Điều đó có vẻ không đúng, nhưng có thể có không gian bên ngoài hoặc có gì đó bất thường trong đó.

Đề xuất đầu tiên của tôi sẽ là đặt câu lệnh "GO" sau mỗi câu lệnh INSERT. Điều này sẽ chia lô 45.000 câu lệnh INSERT duy nhất của bạn thành 45.000 lô riêng biệt. Điều này sẽ dễ tiêu hóa hơn. Hãy cẩn thận, nếu một trong những lần chèn đó thất bại, bạn có thể gặp khó khăn trong việc tìm ra thủ phạm. Bạn có thể muốn tự bảo vệ mình bằng một giao dịch. Bạn có thể nhanh chóng thêm các câu lệnh đó nếu trình soạn thảo của bạn có một tìm kiếm và thay thế tốt (điều đó sẽ cho phép bạn tìm kiếm và thay thế các ký tự trả về như \ r \ n) hoặc một cơ sở macro.

Gợi ý thứ hai là sử dụng Trình hướng dẫn để nhập dữ liệu trực tiếp từ Excel. Trình hướng dẫn xây dựng một gói SSIS nhỏ cho bạn, đằng sau hậu trường, và sau đó chạy nó. Nó sẽ không có vấn đề này.

BULK INSERThoặc bcpcó vẻ tùy chọn phù hợp hơn 45.000 câu lệnh chèn.

Nếu bạn cần phải tuân theo các câu lệnh chèn, tôi sẽ xem xét một vài lựa chọn:

Trả lời: Sử dụng các giao dịch và gói các lô 100 hoặc 500 hoặc 1000 câu lệnh trong mỗi câu lệnh để giảm thiểu tác động lên nhật ký và lô. ví dụ

BEGIN TRANSACTION;
INSERT dbo.table(a, ...) SELECT 1, ...
INSERT dbo.table(a, ...) SELECT 2, ...
...
INSERT dbo.table(a, ...) SELECT 500, ...
COMMIT TRANSACTION;
GO

BEGIN TRANSACTION;
INSERT dbo.table(a, ...) SELECT 1, ...
INSERT dbo.table(a, ...) SELECT 2, ...
...
INSERT dbo.table(a, ...) SELECT 500, ...
COMMIT TRANSACTION;
GO

B: Thay vì các câu lệnh chèn riêng lẻ, hãy sử dụng UNION ALLcho 100 hoặc 500 câu lệnh cùng một lúc, ví dụ:

INSERT dbo.table(a, ...)
SELECT 1, ...
UNION ALL SELECT 2, ...
...
UNION ALL SELECT 500, ...
GO

INSERT dbo.table(a, ...)
SELECT 501, ...
UNION ALL SELECT 502, ...
...
UNION ALL SELECT 1000, ...
GO

Tôi đã để lại lỗi xử lý cho ngắn gọn, nhưng vấn đề là tôi sẽ không bao giờ cố gắng gửi một lô 45.000 câu lệnh riêng lẻ đến SQL Server.

Tôi không chắc tại sao bạn lại thoát khỏi lỗi bộ nhớ, nhưng có một cách tiếp cận dễ dàng hơn.

Nếu bạn có thể xuất dữ liệu từ bảng tính sang định dạng được phân tách (ví dụ: csv), bạn có thể sử dụng trình hướng dẫn nhập dữ liệu trong SSMS để chèn dữ liệu cho bạn:

Sử dụng nhiều SqlBulkCopy, tạo bảng tạm thời. Chèn dữ liệu mới vào bảng tạm thời, sau đó hợp nhất dữ liệu trong bảng tạm thời vào bảng hiện có. Ví dụ sử dụng Phương thức C # SqlBulkCopy.WriteToServer (DataTable) . Hy vọng nó giúp

Có, chúng tôi có thể làm điều đó, tôi đã thử với phương pháp BCP (Chương trình sao chép hàng loạt) để tránh sự cố OutOfMemory .

Lưu ý : Đã thử trên SQL Server 2014.

Trong BCP, trước tiên chúng ta cần xuất dữ liệu cơ sở dữ liệu nguồn sang tệp bcp (trong thư mục thư mục cục bộ) và sau đó cần nhập tệp bcp đó vào cơ sở dữ liệu đích.

Dưới đây là các bước đi bộ bánh:

Chú thích:

a) Đảm bảo bảng trống có trong cơ sở dữ liệu đích

b) Đảm bảo thư mục Temp có trong ổ C

1. Tạo một tập tin bat có tên là Export_Data.bat bằng lệnh được hiển thị bên dưới:

   bcp.exe [Source_DataBase_Name].[dbo].[TableName] OUT "C:\Temp\TableName.bcp" -S "Computer Name" -U "SQL Server UserName" -P "SQL Server Password" -n -q 

   tạm ngừng

2. Chạy tệp bat đó, do đó tệp bcp sẽ được tạo trong thư mục Temp

3. Sau đó, tạo một tệp dơi khác có tên là Import_Data.bat bằng lệnh sau:

   bcp.exe [Destination_DataBase_Name].[dbo].[TableName] IN "C:\Temp\TableName.bcp" -S "Computer Name" -U "SQL Server UserName" -P "SQL Server Password" -n -q 

   Tạm ngừng

Và chúng ta đi đây!