Tôi có kết xuất SQL 32 GB khổng lồ mà tôi cần nhập vào MySQL. Tôi đã không phải nhập một bãi chứa SQL lớn như vậy trước đây. Tôi đã làm như thường lệ:

mysql -uroot dbname < dbname.sql

Nó mất quá nhiều thời gian. Có một bảng với khoảng 300 triệu hàng, nó đã lên tới 1,5 triệu trong khoảng 3 giờ. Vì vậy, có vẻ như toàn bộ sự việc sẽ mất 600 giờ (tức là 24 ngày) và không thực tế. Vì vậy, câu hỏi của tôi là, có cách nào nhanh hơn để làm điều này?

Thông tin thêm / Kết quả

1. Các bảng đều là InnoDB và không có khóa ngoại nào được xác định. Tuy nhiên, có nhiều chỉ số.
2. Tôi không có quyền truy cập vào máy chủ gốc và DB vì vậy tôi không thể tạo bản sao lưu mới hoặc tạo bản sao "nóng", v.v.
3. Thiết lập innodb_flush_log_at_trx_commit = 2như được đề xuất ở đây dường như không cải thiện (hiển thị rõ ràng / hàm mũ).
4. Số liệu thống kê máy chủ trong quá trình nhập (từ MySQL Workbench): https://imgflip.com/gif/ed0c8 .
5. Phiên bản MySQL là cộng đồng 5.6.20.
6. innodb_buffer_pool_size = 16M và innodb_log_buffer_size = 8M. Tôi có cần phải tăng những thứ này không?

Vadim Tkachenko của Percona đã thể hiện đại diện bằng hình ảnh tuyệt vời này của InnoDB

Bạn chắc chắn cần phải thay đổi như sau

innodb_buffer_pool_size = 4G
innodb_log_buffer_size = 256M
innodb_log_file_size = 1G
innodb_write_io_threads = 16
innodb_flush_log_at_trx_commit = 0

Tại sao các cài đặt này?

• innodb_buffer_pool_size sẽ lưu trữ dữ liệu thường xuyên đọc
• innodb_log_buffer_size : Bộ đệm lớn hơn làm giảm ghi I / O vào Nhật ký giao dịch
• innodb_log_file_size : Tệp nhật ký lớn hơn làm giảm điểm kiểm tra và ghi I / O
• innodb_write_io_threads : Thao tác ghi dịch vụ vào .ibdtệp. Theo Tài liệu MySQL trênConfiguring the Number of Background InnoDB I/O Threads , mỗi luồng có thể xử lý tối đa 256 yêu cầu I / O đang chờ xử lý. Mặc định cho MySQL là 4, 8 cho Percona Server. Tối đa là 64.
• innodb_flush_log_at_trx_commit
  • Trong trường hợp xảy ra sự cố, cả 0 và 2 có thể mất một giây dữ liệu.
  • Sự đánh đổi là cả 0 và 2 tăng hiệu suất ghi.
  • Tôi chọn 0 trên 2 vì 0 xóa Bộ đệm Nhật ký InnoDB vào Nhật ký giao dịch (ib_logfile0, ib_logfile1) một lần mỗi giây, có hoặc không có cam kết. Cài đặt 2 chỉ xóa Bộ đệm Nhật ký InnoDB trên cam kết. Có những lợi thế khác khi cài đặt 0 được đề cập bởi @jynus, cựu giảng viên Percona .

Khởi động lại mysql như thế này

service mysql restart --innodb-doublewrite=0

Điều này vô hiệu hóa Bộ đệm ghi đôi của InnoDB

Nhập dữ liệu của bạn. Khi hoàn tất, khởi động lại mysql bình thường

service mysql restart

Điều này tái hiện bộ đệm ghi đôi InnoDB

Hãy thử một lần !!!

GHI CHÚ: Bạn nên nâng cấp lên 5.6,21 cho các bản vá bảo mật mới nhất .

Bạn có thực sự cần toàn bộ cơ sở dữ liệu để được khôi phục? Nếu bạn không, 2c của tôi:

Bạn có thể trích xuất các bảng cụ thể để thực hiện khôi phục trên "khối". Một cái gì đó như thế này:

zcat your-dump.gz.sql | sed -n -e '/DROP TABLE.*`TABLE_NAME`/,/UNLOCK TABLES/p' > table_name-dump.sql

Tôi đã làm điều đó một lần và mất 10 phút để trích xuất bảng tôi cần - quá trình khôi phục hoàn toàn của tôi mất 13 ~ 14 giờ, với kết xuất 35 GB (được nén).

Các /pattern/,/pattern/pvới -nthông số làm cho một lát "giữa các mô hình" - bao gồm họ.

Dù sao, để khôi phục 35GB, tôi đã sử dụng máy AWS EC2 (c3.8xlarge), cài đặt Percona qua yum (Centos) và chỉ cần thêm / thay đổi các dòng sau trên my.cnf:

max_allowed_packet=256M
wait_timeout=30000

Tôi nghĩ rằng con số quá cao, nhưng đã làm việc cho thiết lập của tôi.

Cách nhanh nhất để nhập cơ sở dữ liệu của bạn là sao chép các tệp (.frm, .MYD, .MYI) nếu MyISAM, trực tiếp vào / var / lib / mysql / "tên cơ sở dữ liệu".

Nếu không, bạn có thể thử: mysql > use database_name; \. /path/to/file.sql

Đó là một cách khác để nhập dữ liệu của bạn.

một cách để giúp tăng tốc độ nhập là khóa bảng trong khi nhập. sử dụng tùy chọn --add-lock để mysqldump.

mysqldump --add-drop-table --add-locks --database db > db.sql

hoặc bạn có thể bật một số tham số hữu ích với --opt điều này sẽ bật một loạt các điều hữu ích cho kết xuất.

mysqldump --opt --database db > db.sql

Nếu bạn có một thiết bị lưu trữ khác trên máy chủ thì hãy sử dụng nó - sao chép từ thiết bị này sang thiết bị khác là một cách để tăng tốc độ chuyển.

bạn cũng có thể lọc ra các bảng không bắt buộc với --ignore-table