MySQL tải các giá trị NULL từ dữ liệu CSV

Tôi có một tệp có thể chứa từ 3 đến 4 cột giá trị số được phân tách bằng dấu phẩy. Các trường trống được xác định với ngoại lệ khi chúng ở cuối hàng:

1,2,3,4,5
1,2,3,,5
1,2,3

Bảng sau đây đã được tạo trong MySQL:

+ ------- + -------- + ------ + ----- + --------- + ------- +
| Lĩnh vực | Loại | Không | Chìa khóa | Mặc định | Thêm |
+ ------- + -------- + ------ + ----- + --------- + ------- +
| một | int (1) | CÓ | | NULL | |
| hai | int (1) | CÓ | | NULL | |
| ba | int (1) | CÓ | | NULL | |
| bốn | int (1) | CÓ | | NULL | |
| năm | int (1) | CÓ | | NULL | |
+ ------- + -------- + ------ + ----- + --------- + ------- +

Tôi đang cố tải dữ liệu bằng lệnh MySQL LOAD:

LOAD DATA INFILE '/tmp/testdata.txt' INTO TABLE moo FIELDS 
TERMINATED BY "," LINES TERMINATED BY "\n";

Bảng kết quả:

+ ------ + ------ + ------- + ------ + ------ +
| một | hai | ba | bốn | năm |
+ ------ + ------ + ------- + ------ + ------ +
| 1 | 2 | 3 | 4 | 5 |
| 1 | 2 | 3 | 0 | 5 |
| 1 | 2 | 3 | NULL | NULL |
+ ------ + ------ + ------- + ------ + ------ +

Vấn đề nằm ở chỗ, khi một trường trống trong dữ liệu thô và không được xác định, MySQL vì một số lý do không sử dụng giá trị mặc định của cột (là NULL) và sử dụng 0. NULL được sử dụng chính xác khi trường bị thiếu hoàn toàn.

Thật không may, tôi phải phân biệt được NULL và 0 ở giai đoạn này để mọi sự giúp đỡ đều được đánh giá cao.

Cảm ơn S.

biên tập

Đầu ra của SHOW WARNING:

+ --------- + ------ + -------------------------------- ------------------------ +
| Cấp độ | Mã | Tin nhắn |
+ --------- + ------ + -------------------------------- ------------------------ +
| Cảnh báo | 1366 | Giá trị nguyên không chính xác: '' cho cột 'bốn' ở hàng 2 |
| Cảnh báo | 1261 | Hàng 3 không chứa dữ liệu cho tất cả các cột |
| Cảnh báo | 1261 | Hàng 3 không chứa dữ liệu cho tất cả các cột |
+ --------- + ------ + -------------------------------- ------------------------ +

Điều này sẽ làm những gì bạn muốn. Nó đọc trường thứ tư thành một biến cục bộ, sau đó đặt giá trị trường thực tế thành NULL, nếu biến cục bộ kết thúc có chứa một chuỗi rỗng:

LOAD DATA INFILE '/tmp/testdata.txt'
INTO TABLE moo
FIELDS TERMINATED BY ","
LINES TERMINATED BY "\n"
(one, two, three, @vfour, five)
SET four = NULLIF(@vfour,'')
;

Nếu tất cả đều có thể trống, thì bạn sẽ đọc tất cả chúng thành các biến và có nhiều câu lệnh SET, như thế này:

LOAD DATA INFILE '/tmp/testdata.txt'
INTO TABLE moo
FIELDS TERMINATED BY ","
LINES TERMINATED BY "\n"
(@vone, @vtwo, @vthree, @vfour, @vfive)
SET
one = NULLIF(@vone,''),
two = NULLIF(@vtwo,''),
three = NULLIF(@vthree,''),
four = NULLIF(@vfour,'')
;

Hướng dẫn sử dụng MySQL nói:

Khi đọc dữ liệu với LOAD DATA INFILE, các cột trống hoặc thiếu được cập nhật với ''. Nếu bạn muốn giá trị NULL trong một cột, bạn nên sử dụng \ N trong tệp dữ liệu. Từ này có thể được sử dụng trong một số trường hợp.

Vì vậy, bạn cần thay thế khoảng trống bằng \ N như thế này:

1,2,3,4,5
1,2,3,\N,5
1,2,3

Hành vi là khác nhau tùy thuộc vào cấu hình cơ sở dữ liệu. Trong chế độ nghiêm ngặt, điều này sẽ đưa ra một cảnh báo khác. Truy vấn sau đây có thể được sử dụng để xác định cấu hình cơ sở dữ liệu.

mysql> show variables like 'sql_mode';

Tiền xử lý CSV đầu vào của bạn để thay thế các mục trống bằng \ N.

Cố gắng ở một regex: s / ,, /, \ n, / g và s /, $ /, \ N / g

Chúc may mắn.

(biến1, @ biến2, ..) SET biến2 = nullif (@ biến2, '' hoặc '') >> bạn có thể đặt bất kỳ điều kiện nào

hiển thị các biến

Show variables like "`secure_file_priv`";

Lưu ý: giữ tệp csv của bạn ở vị trí được cung cấp bởi lệnh trên.

create table assessments (course_code varchar(5),batch_code varchar(7),id_assessment int, assessment_type varchar(10), date int , weight int);

Lưu ý: ở đây datecột '' có một số giá trị trống trong tệp csv.

LOAD DATA INFILE 'C:/ProgramData/MySQL/MySQL Server 8.0/Uploads/assessments.csv' 
INTO TABLE assessments
FIELDS TERMINATED BY ',' 
OPTIONALLY ENCLOSED BY '' 
LINES TERMINATED BY '\n' 
IGNORE 1 ROWS 
(course_code,batch_code,id_assessment,assessment_type,@date,weight)
SET date = IF(@date = '', NULL, @date);