Có thể mysqldump một tập hợp con của cơ sở dữ liệu cần thiết để tạo lại một truy vấn không?

Lý lịch

Tôi muốn cung cấp tập hợp con của cơ sở dữ liệu của tôi cần thiết để tạo lại một selecttruy vấn. Mục tiêu của tôi là làm cho dòng công việc tính toán của tôi có thể tái tạo (như trong nghiên cứu tái sản xuất ).

Câu hỏi

Có cách nào để tôi có thể kết hợp câu lệnh chọn này vào một tập lệnh đưa dữ liệu được truy vấn vào cơ sở dữ liệu mới, để cơ sở dữ liệu có thể được cài đặt trên máy chủ mysql mới và câu lệnh sẽ hoạt động với cơ sở dữ liệu mới. Cơ sở dữ liệu mới không được chứa các bản ghi ngoài những bản ghi đã được sử dụng trong truy vấn.

Cập nhật: Để làm rõ, tôi không quan tâm đến kết xuất truy vấn csv. Những gì tôi cần có thể làm là kết xuất tập hợp con cơ sở dữ liệu để có thể cài đặt nó trên một máy khác, và sau đó chính truy vấn có thể được lặp lại (và có thể sửa đổi đối với cùng một tập dữ liệu).

Thí dụ

Ví dụ: phân tích của tôi có thể truy vấn một tập hợp con dữ liệu yêu cầu các bản ghi từ nhiều bảng (trong ví dụ 3) này:

select table1.id, table1.level, table2.name, table2.level 
       from table1 join table2 on table1.id = table2.table1_id 
       join table3 on table3.id = table2.table3_id
       where table3.name in ('fee', 'fi', 'fo', 'fum'); 

mysqldump có tùy chọn --where để thực thi mệnh đề WHERE cho một bảng đã cho.

Mặc dù không thể mysqldump một truy vấn tham gia, bạn có thể xuất các hàng cụ thể từ mỗi bảng để mỗi hàng được tải từ mỗi bảng sẽ được tham gia vào liên kết sau này.

Đối với truy vấn đã cho của bạn, bạn sẽ cần mysqldump ba lần:

Đầu tiên, mysqldump tất cả các hàng của bảng3 có tên trong ('phí', 'fi', 'fo', 'fum'):

mysqldump -u... -p... --where="name in ('fee','fi','fo','fum')" mydb table3 > table3.sql

Tiếp theo, mysqldump tất cả các hàng của bảng2 có các giá trị của bảng3_id phù hợp với mysqldump đầu tiên:

mysqldump -u... -p... --lock-all-tables --where="table3_id in (select id from table3 where name in ('fee','fi','fo','fum'))" mydb table2 > table2.sql

Sau đó, mysqldump tất cả các hàng của bảng1 có giá trị trùng khớp với bảng1_id từ mysqldump thứ hai:

mysqldump -u... -p... --lock-all-tables --where="id in (select table1_id from table2 where table3_id in (select id from table3 where name in ('fee','fi','fo','fum')))" mydb table1 > table1.sql

Lưu ý: Vì mysqldumps thứ hai và thứ ba yêu cầu sử dụng nhiều hơn một bảng, nên phải sử dụng --lock-all-bảng .

Tạo cơ sở dữ liệu mới của bạn:

mysqladmin -u... -p... mysqladmin create newdb

Cuối cùng, tải ba mysqldumps vào cơ sở dữ liệu khác và thử tham gia vào cơ sở dữ liệu mới.

mysql -u... -p... -D newdb < table1.sql
mysql -u... -p... -D newdb < table2.sql
mysql -u... -p... -D newdb < table3.sql

Trong máy khách mysql, chạy truy vấn tham gia của bạn

mysql> use newdb
mysql> select table1.id, table1.level, table2.name, table2.level 
       from table1 join table2 on table1.id = table2.table1_id 
       join table3 on table3.id = table2.table3_id
       where table3.name in ('fee', 'fi', 'fo', 'fum'); 

Hãy thử một lần !!!

CẢNH BÁO: Nếu không được lập chỉ mục chính xác, mysqldumps thứ hai và thứ ba có thể mất mãi mãi !!!

Chỉ trong trường hợp, lập chỉ mục các cột sau:

ALTER TABLE table2 ADD INDEX (table1_id);
ALTER TABLE table2 ADD INDEX (table3_id);
ALTER TABLE table3 ADD INDEX (name,id);

Tôi sẽ giả sử id là khóa chính của bảng3.

Tôi sẽ xem xét sử dụng 'outfile' như một phần của CHỌN của bạn thay vì mysqldump để giải quyết vấn đề này. Bạn có thể tạo bất kỳ câu lệnh CHỌN nào bạn muốn, sau đó thêm "INTO OUTFILE '/path/to/outfile.csv' ..." vào cuối với cấu hình phù hợp cho đầu ra kiểu CSV. Sau đó, bạn có thể chỉ cần sử dụng cú pháp như ' LOAD DATA INFILE ...' để tải dữ liệu vào vị trí lược đồ mới của bạn.

Ví dụ: sử dụng SQL của bạn:

select table1.id, table1.level, table2.name, table2.level 
       from table1 join table2 on table1.id = table2.table1_id 
       join table3 on table3.id = table2.table3_id
       where table3.name in ('fee', 'fi', 'fo', 'fum')
INTO OUTFILE '/tmp/fee-fi-fo-fum.csv'
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"'
LINES TERMINATED BY '\n'
; 

Hãy nhớ rằng bạn sẽ cần đủ dung lượng lưu trữ có sẵn trên phân vùng đĩa đích.

Công cụ mysqldump có tùy chọn --tables cho phép bạn chỉ định bảng nào sẽ kết xuất. Nó cho phép bạn chỉ định danh sách các bảng.

Tôi không biết cách nào dễ dàng hơn (tự động).

Những gì hữu ích cho tôi là một cái gì đó như:

mysqldump -u db_user -p db_name table_name --no_create_info \
--lock-all-tables --where 'id in (SELECT tn.id FROM table_name AS tn \
JOIN related_table AS rt ON tn.related_table_id = rt.id \
WHERE rt.some_field = 1)' > data.sql

Từ http://krosinski.blogspot.com/2012/12/USE-table-join-with-mysqldump.html

Bạn đã thử chức năng trích dẫn trong mysql chưa?

SELECT CONCAT("insert into table4(id,level,name,levelt2) VALUES(",   quote(table1.id),   ",",    quote(table1.level),   ",",    quote(table2.name),   ",",    quote(table2.level),    ");") as q
       from table1 join table2 on table1.id = table2.table1_id 
       join table3 on table3.id = table2.table3_id
       where table3.name in ('fee', 'fi', 'fo', 'fum'); 

lưu ở trên, như query.sql

cat query.sql|mysql --skip-column-names --raw > table4.sql

Trong MySQL:

SHOW CREATE TABLE table1; -- use these two create statements
SHOW CREATE TABLE table2; -- to design table4's create statement
CREATE TABLE table4( .... );
INSERT INTO table4(id,level,name,levelt2)
SELECT table1.id, table1.level, table2.name, table2.level 
   from table1 join table2 on table1.id = table2.table1_id 
   join table3 on table3.id = table2.table3_id
   where table3.name in ('fee', 'fi', 'fo', 'fum'); 

Trên dòng lệnh:

mysqldump mydb table4 |gzip > table4.sql.gz

Trên máy chủ đích của bạn, hãy thiết lập ~ / .my.cnf

[client]
default-character-set=utf8

Nhập trên máy chủ đích

zcat table4.sql.gz | mysql

tôi đã viết một đoạn script nhỏ cho vấn đề tương tự, đây là: https://github.com/digitalist/mysql_slice

include ('queryDumper.php');


$exampleQuery="select * from information_schema.columns c1 
left join information_schema.columns c2 on 1=1 limit 1";

//define credentials
$exampleMysqli = new mysqli($host, $user, $password, $database);
$exampleResult=$exampleMysqli->query($exampleQuery);

//if  mysqlnd (native driver installed), otherwise use wrapper
$exampleData=fetchAll($exampleResult);
$exampleMeta=$exampleResult->fetch_fields();

/*
 * field content removal options
 * column name => function name in queryDumper.php, namespace QueryDumperHelpers
 * 
 * */

$forbiddenFields=array(
'password'=>'replacePassword', //change password -> md5("password")
'login'=>'replaceLogin', //change login vasya@mail.ru -> vasya@example.com
'comment'=>'sanitizeComment' //lorem ipsum or 
);


//get tables dump
$dump=(\queryDumper\dump($exampleData, $exampleMeta, $forbiddenFields));



$dropDatabase=true; //default false
$dropTable=true; //default false

$dbAndTablesCreationDump=\QueryDumperDatabaseAndTables\dump($exampleMysqli,$exampleMeta, $dropDatabase, $dropTable);

$databases=$dbAndTablesCreationDump['databases'];
$tables=$dbAndTablesCreationDump['tables'];
$eol=";\n\n";
echo implode($eol, $databases)."\n";
echo implode($eol, $tables).";\n";
echo "\n";

//consider using array_unique($dump) before imploding
echo implode("\n\n", $dump);
echo "\n";
?>

tức là bạn có truy vấn này :

SELECT * FROM employees.employees e1 
LEFT JOIN employees.employees e2 ON 1=1 
LIMIT 1; 

bạn có bãi rác này :

DROP DATABASE `employees`;

CREATE DATABASE `employees`;
CREATE TABLE `employees` ( /* creation code */ ) ENGINE=InnoDB DEFAULT CHARSET=latin1;

INSERT IGNORE INTO `employees`.`employees` VALUES ("10001","1953-09-02","Georgi","Facello","M","1986-06-26");

INSERT IGNORE INTO `employees`.`employees` VALUES ("10001","1953-09-02","Georgi","Facello","M","1986-06-26");