Cách tốt nhất để CHỌN một tập dữ liệu lớn vào cơ sở dữ liệu MySQL (hoặc bất kỳ cơ sở dữ liệu nào nói chung)

Là một phần của dự án PHP, tôi phải chèn một hàng vào cơ sở dữ liệu MySQL. Tôi rõ ràng đã quen với việc này, nhưng yêu cầu này phải chèn vào 90 cột trong một truy vấn. Truy vấn kết quả trông khủng khiếp và nguyên khối (đặc biệt là chèn các biến PHP của tôi làm giá trị):

INSERT INTO mytable (column1, colum2, ..., column90) 
VALUES
('value1', 'value2', ..., 'value90')

và tôi lo ngại rằng tôi sẽ không làm điều này theo cách đúng đắn. Tôi cũng mất một thời gian dài (nhàm chán) chỉ để gõ mọi thứ vào và kiểm tra viết mã kiểm tra cũng sẽ tẻ nhạt không kém tôi sợ.

Làm thế nào để các chuyên gia đi nhanh chóng viết và kiểm tra các truy vấn này? Có cách nào để tôi có thể tăng tốc quá trình không?

Joe, bình luận cuối cùng của bạn giải thích rất nhiều. Tôi nghĩ vấn đề thực sự là thiết kế dữ liệu. Các cột mới có thể cần thiết khi định dạng tài liệu thay đổi và theo kinh nghiệm của tôi, các định dạng tài liệu có xu hướng thay đổi thường xuyên. Thay vì một bảng 90 cột, với một hàng cho mỗi báo cáo, tôi sẽ lưu trữ dữ liệu báo cáo trong một bảng có bốn cột: report_id, format_id, field_name, field_value. Mỗi báo cáo sẽ được đại diện bởi 90 hàng, một hàng cho mỗi giá trị trường trong báo cáo. Điều này sẽ đơn giản hóa mã của bạn đáng kể.

Nói chung, cách nhanh nhất để tải một tập dữ liệu lớn vào cơ sở dữ liệu SQL là sử dụng giao diện tải hàng loạt riêng. Theo như tôi biết, mỗi dbms SQL có ít nhất một.

Tài liệu MySQL: Sử dụng Trình tải hàng loạt

Nếu tôi phải biến một tệp được phân tách bằng dấu phẩy hoặc dấu phẩy thành các câu lệnh SQL INSERT, tôi sử dụng awk để đọc tệp đầu vào và ghi tệp đầu ra. Không có gì thực sự đặc biệt về awk; nó chỉ là ngôn ngữ xử lý văn bản mà tôi biết rõ nhất. Bạn có thể nhận được kết quả tương tự bằng cách viết mã bằng Perl, Python, Ruby, Rexx, Lisp, v.v.

Nếu bạn có thể dễ dàng lấy tên cột vào bảng tính Excel, bạn có thể viết macro Excel để tạo mã cho các truy vấn và câu lệnh DML khác nhau, sau đó chỉ cần dán giá trị vào cột khác và câu lệnh chèn / cập nhật của bạn được tạo tự động cho bạn. Gõ thủ công là một cách rất chậm để làm điều đó, vì vậy hãy xem liệu bạn có thể tìm thấy các thủ thuật bằng cách sử dụng các công cụ hiện có của mình không. Nhiều trình soạn thảo văn bản theo định hướng của nhà phát triển cũng có khả năng ghi và lưu trữ các macro để thực hiện các công việc lặp đi lặp lại như thế này nhanh hơn và dễ dàng hơn.

Nếu bạn có tệp csv, bạn có thể sử dụng LOAD DATA INFILE ... để nhập dữ liệu.

Nếu bạn phải sử dụng các truy vấn 'INSERT', thì thực hiện chèn số lượng lớn sẽ tăng tốc quá trình. Thay vì chạy truy vấn 'INSERT' cho mỗi hàng đơn lẻ, hãy nhóm các hàng, nói 100 và chạy truy vấn. Một cái gì đó như thế này:

INSERT INTO theTable (col1, col2, col3,....., col89, col90) 
VALUES
(val11, val12, val13, ........, val189, val190),
(val21, val22, val23, ........, val289, val290),
.......
......
(val101, val102, val103, ........, va1089, val1090);

Một cách hiệu quả để ghi dữ liệu truy vấn nhiều cột vào MySQL DB là chuyển đổi các dữ liệu này thành định dạng JSON hoặc YAML và chèn chúng dưới dạng một đơn vị. Nó thay đổi "ghi một phần chèn cho một bảng có 90 cột" thành "ghi một phần chèn vào một bảng có một cột".

Theo cách tiếp cận này, không phải mọi thứ cần được chia thành các thành phần cơ bản của nó và mốc dữ liệu duy nhất được lưu trữ chỉ trong 1 cột.

Với MySQL, bạn có thể sử dụng cú pháp thay thế cho các insertcâu lệnh:

insert into table
        set column1 = value1
          , column2 = value2
          , column3 = value3

Kịch bản của bạn có vẻ phù hợp rất tốt cho giải pháp NoQuery, vì danh sách thuộc tính có thể thay đổi bất cứ khi nào định dạng thay đổi. Bạn đã đánh giá các tùy chọn khác ngoài MySQL chưa? Tìm hiểu về DynamoDB / MongoDB / Cassandra - có thể phù hợp hơn.

Có cách hiệu quả hơn để chèn dữ liệu vào cơ sở dữ liệu bằng cách sử dụng php và mysql. Chúng ta có thể sử dụng LOAD HÀNH để chèn dữ liệu. Nó chèn dữ liệu nhanh đáng kể.

Đối với điều này, hãy tạo một tệp phẳng (ví dụ: tôi đã sử dụng tệp .csv) với dữ liệu của bạn bằng fputcsv()chức năng. Sau đó chèn dữ liệu bằng lệnh LOAD. Cú pháp một số thứ tương tự như dưới đây:

LOAD DATA LOCAL INFILE "C:/downloads/local/my_data_file.csv"
INTO TABLE  my_data
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\r\n'
IGNORE 1 LINES;

Hãy thử như sau. Đã làm cho tôi.

Tên biểu mẫu phải bằng tên cột cơ sở dữ liệu

Lấy các giá trị như dưới đây:

foreach ($_GET as $formName => $value) {
    $sql = mysql_query("UPDATE table_name SET $formName = '$value' WHERE ID= $id");
}

Trước tiên bạn sẽ cần chèn ID trước vòng lặp foreach. bạn có thể lấy id tiếp theo bằng cách thực hiện:

SELECT MAX(id) FROM .....

thêm 1 vào id và chèn nó.