Kết xuất cơ sở dữ liệu mysql vào bản sao lưu bản rõ (CSV) từ dòng lệnh

Tôi muốn tránh mysqldump vì nó xuất ra ở dạng chỉ thuận tiện cho mysql đọc. CSV có vẻ phổ biến hơn (một tệp cho mỗi bảng cũng được). Nhưng nếu có lợi thế cho mysqldump, tôi đều có tai. Ngoài ra, tôi muốn một cái gì đó mà tôi có thể chạy từ dòng lệnh (linux). Nếu đó là một tập lệnh mysql, thì các gợi ý về cách tạo một thứ như vậy sẽ rất hữu ích.

Nếu bạn có thể xử lý từng bảng một và dữ liệu của bạn không phải là hệ nhị phân, hãy sử dụng -Btùy chọn đối với mysqllệnh. Với tùy chọn này, nó sẽ tạo các tệp TSV (được phân tách bằng tab) có thể nhập vào Excel, v.v., khá dễ dàng:

% echo 'SELECT * FROM table' | mysql -B -uxxx -pyyy database

Ngoài ra, nếu bạn có quyền truy cập trực tiếp vào hệ thống tệp của máy chủ, hãy sử dụng hệ thống SELECT INTO OUTFILEcó thể tạo tệp CSV thực:

SELECT * INTO OUTFILE 'table.csv'
    FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"'
    LINES TERMINATED BY '\n'
FROM table

Trong chính MySQL, bạn có thể chỉ định đầu ra CSV như:

SELECT order_id,product_name,qty
FROM orders
INTO OUTFILE '/tmp/orders.csv'
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '\n'

Từ http://www.tech-recipes.com/rx/1475/save-mysql-query-results-into-a-text-or-csv-file/

Bạn có thể kết xuất toàn bộ cơ sở dữ liệu trong một lần với mysqldump's --tabtùy chọn. Bạn cung cấp một đường dẫn thư mục và nó tạo một .sqltệp với CREATE TABLE DROP IF EXISTScú pháp và một .txttệp có nội dung, được phân tách bằng tab. Để tạo các tệp được phân tách bằng dấu phẩy, bạn có thể sử dụng các cách sau:

mysqldump --password  --fields-optionally-enclosed-by='"' --fields-terminated-by=',' --tab /tmp/path_to_dump/ database_name

Đường dẫn đó cần phải được ghi bởi cả người dùng mysql và người dùng chạy lệnh, vì vậy để đơn giản, tôi khuyên bạn nên sử dụng chmod 777 /tmp/path_to_dump/trước.

Tùy chọn select into outfile sẽ không hoạt động đối với tôi nhưng cách đường vòng dưới đây để chuyển tệp phân cách bằng tab qua SED đã làm được:

mysql -uusername -ppassword -e "SELECT * from tablename" dbname | sed 's/\t/","/g;s/^/"/;s/$/"/' > /path/to/file/filename.csv

Đây là lệnh đơn giản nhất cho nó

mysql -h<hostname> -u<username> -p<password> -e 'select * from databaseName.tableNaame' | sed  's/\t/,/g' > output.csv

Nếu có dấu phẩy trong giá trị cột thì chúng ta có thể tạo .tsv thay vì .csv bằng lệnh sau

mysql -h<hostname> -u<username> -p<password> -e 'select * from databaseName.tableNaame' > output.csv

Nếu bạn thực sự cần một "Bản sao lưu" thì bạn cũng cần lược đồ cơ sở dữ liệu, như định nghĩa bảng, định nghĩa chế độ xem, thủ tục lưu trữ, v.v. Bản sao lưu cơ sở dữ liệu không chỉ là dữ liệu.

Giá trị của định dạng mysqldump để sao lưu cụ thể là nó rất DỄ DÀNG khi sử dụng nó để khôi phục cơ sở dữ liệu mysql. Một bản sao lưu không dễ dàng khôi phục sẽ kém hữu ích hơn nhiều. Nếu bạn đang tìm kiếm một phương pháp để sao lưu dữ liệu mysql một cách đáng tin cậy để bạn có thể khôi phục lại máy chủ mysql thì tôi nghĩ bạn nên gắn bó với công cụ mysqldump.

Mysql miễn phí và chạy trên nhiều nền tảng khác nhau. Thiết lập một máy chủ mysql mới mà tôi có thể khôi phục rất đơn giản. Tôi hoàn toàn không lo lắng về việc không thể thiết lập mysql để tôi có thể thực hiện khôi phục.

Tôi sẽ lo lắng hơn nhiều về việc sao lưu / khôi phục tùy chỉnh dựa trên một định dạng mỏng manh như csv / tsv không thành công. Bạn có chắc chắn rằng tất cả các dấu ngoặc kép, dấu phẩy hoặc các tab trong dữ liệu của bạn sẽ được thoát đúng cách và sau đó được phân tích cú pháp chính xác bằng công cụ khôi phục của bạn?

Nếu bạn đang tìm kiếm một phương pháp để trích xuất dữ liệu thì hãy xem một số câu trả lời khác.

Bạn có thể sử dụng tập lệnh dưới đây để lấy đầu ra cho tệp csv. Một tệp cho mỗi bảng có tiêu đề.

for tn in `mysql --batch --skip-page --skip-column-name --raw -uuser -ppassword -e"show tables from mydb"`
do 
mysql -uuser -ppassword mydb -B -e "select * from \`$tn\`;" | sed 's/\t/","/g;s/^/"/;s/$/"/;s/\n//g' > $tn.csv
done

user là tên người dùng của bạn, password là mật khẩu nếu bạn không muốn tiếp tục nhập mật khẩu cho mỗi bảng và mydb là tên cơ sở dữ liệu.

Giải thích tập lệnh: Biểu thức đầu tiên trong sed, sẽ thay thế các tab bằng "," vì vậy bạn có các trường được đặt trong dấu ngoặc kép và được phân tách bằng dấu phẩy. Cái thứ hai chèn dấu ngoặc kép ở đầu và cái thứ ba chèn dấu ngoặc kép ở cuối. Và điều cuối cùng sẽ xử lý \ n.

Hãy xem mk -llel -dump là một phần của bộ công cụ maatkit hữu ích . Điều này có thể kết xuất các tệp được phân tách bằng dấu phẩy với tùy chọn --csv.

Điều này có thể thực hiện toàn bộ db của bạn mà không cần chỉ định các bảng riêng lẻ và bạn có thể chỉ định các nhóm bảng trong bảng sao lưu.

Lưu ý rằng nó cũng kết xuất các định nghĩa bảng, dạng xem và trình kích hoạt vào các tệp riêng biệt. Ngoài việc cung cấp một bản sao lưu hoàn chỉnh ở dạng dễ tiếp cận hơn, nó cũng có thể khôi phục ngay lập tức với mk -llel-restore

Câu trả lời PowerShell hai dòng:

# Store in variable
$Global:csv = (mysql -uroot -p -hlocalhost -Ddatabase_name -B -e "SELECT * FROM some_table") `
| ConvertFrom-Csv -Delimiter "`t"

# Out to csv
$Global:csv | Export-Csv "C:\temp\file.csv" -NoTypeInformation

Boom-bata-boom

-D = tên cơ sở dữ liệu của bạn

-e = truy vấn

-B = phân cách bằng tab

Nếu bạn muốn kết xuất toàn bộ db dưới dạng csv

#!/bin/bash

host=hostname
uname=username
pass=password

port=portnr
db=db_name
s3_url=s3://bxb2-anl-analyzed-pue2/bxb_ump/db_dump/



DATE=`date +%Y%m%d`
rm -rf $DATE

echo 'show tables' | mysql -B -h${host} -u${uname} -p${pass} -P${port} ${db} > tables.txt
awk 'NR>1' tables.txt > tables_new.txt

while IFS= read -r line
do
  mkdir -p $DATE/$line
  echo "select * from $line" | mysql -B -h"${host}" -u"${uname}" -p"${pass}" -P"${port}" "${db}" > $DATE/$line/dump.tsv
done < tables_new.txt

touch $DATE/$DATE.fin


rm -rf tables_new.txt tables.txt