Việc chèn vào bảng sau mất tới 70 giây để hoàn thành:

CREATE TABLE IF NOT EXISTS `productsCategories` (
  `categoriesId` int(11) NOT NULL,
  `productsId` int(11) NOT NULL,
  PRIMARY KEY (`categoriesId`,`productsId`),
  KEY `categoriesId` (`categoriesId`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

Có khoảng 100.000 hàng trong bảng và nó đang chiếm 7 MB trên đĩa.

Có một số cài đặt trong MySQL có thể cải thiện hiệu suất ghi?

my.cnfTập tin của tôi như sau:

log-slow-queries="/var/log/mysql/slow-query.log"
long_query_time=1 
log-queries-not-using-indexes

innodb_buffer_pool_size=4G
innodb_log_buffer_size=4M
innodb_flush_log_at_trx_commit=2
innodb_thread_concurrency=8
innodb_flush_method=O_DIRECT

query_cache_size = 6G
key_buffer_size = 284M
query_cache_limit = 1024M
thread_cache_size = 128
table_cache = 12800

sort_buffer_size=2M
read_rnd_buffer_size = 8M
myisam_sort_buffer_size = 64M

read_buffer_size=128K

open_files_limit               = 1000
table_definition_cache         = 1024
table_open_cache               = 6000

max_heap_table_size=512M
tmp_table_size=4096M

max_connections=1000

thread_concurrency = 24

Đây là thiết lập phần cứng:

• Dell R710
• RAID10
• RAM 48G

Với phần cứng này, tôi sẽ không nghĩ vấn đề sẽ là một nút cổ chai phần cứng.

QUAN SÁT # 1

Điều đầu tiên khiến tôi chú ý là cấu trúc bảng

CREATE TABLE IF NOT EXISTS `productsCategories` (
  `categoriesId` int(11) NOT NULL,
  `productsId` int(11) NOT NULL,
  PRIMARY KEY (`categoriesId`,`productsId`),
  KEY `categoriesId` (`categoriesId`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

Xin lưu ý rằng categoriesIdchỉ mục và KHÓA CHÍNH bắt đầu với cùng một cột. Nó là một chỉ số dư thừa. Vì bảng này là InnoDB, nên categoriesIdchỉ mục là dự phòng vì một lý do khác: Tất cả các chỉ mục phụ chứa khóa vào gen_clust_index (còn gọi là Clustered Index; Xem gen_clust_index được sử dụng trong mysql là gì? )

Nếu bạn loại bỏ categoriesIdchỉ mục với

ALTER TABLE productsCategories DROP INDEX categoriesId;

điều này sẽ cải thiện đáng kể các INSERT vì không phải thực hiện thêm bảo trì chỉ mục phụ và cụm.

QUAN SÁT # 2

Nếu bạn đang thực hiện bất kỳ thao tác chèn số lượng lớn nào, bạn cần một bộ đệm chèn số lượng lớn .

Xin vui lòng xem bài viết trước đây của tôi về điều này:

• https://dba.stackexchange.com/a/16979/877
• https://dba.stackexchange.com/a/9893/877
• https://dba.stackexchange.com/a/2948/877

QUAN SÁT # 3

Kích thước tệp nhật ký của bạn là quá nhỏ !!! Nó phải là 25% của Bộ đệm InnoDB, trong trường hợp của bạn là 1G. Xem bài đăng của tôi về cách thay đổi kích thước Tệp nhật ký InnoDB .

QUAN SÁT # 4

Xin vui lòng, không đặt innodb_thread_concurrency !!! Tôi đã học trực tiếp tại Percona Live NYC để rời khỏi thiết lập đó một mình . Nó bị tắt theo mặc định trong MySQL 5.5, Plugin MySQL 5.1 InnoDB và Percona Server 5.1+.

QUAN SÁT # 5

Bạn cần sử dụng innodb_file_per_table. Nếu điều này bị vô hiệu hóa, tôi biến việc bảo trì tập tin trên ibdata1 thành một cơn ác mộng. Vui lòng đọc bài viết của tôi về cách dọn dẹp InnoDB để thực hiện điều này .

QUAN SÁT # 6

Nếu bạn đang sử dụng MySQL 5.5 hoặc Percona Server, bạn phải đặt một số tùy chọn nhất định để khiến InnoDB sử dụng nhiều CPU / nhiều lõi. Xin vui lòng xem bài viết của tôi trên các cài đặt .

QUAN SÁT # 7

Bạn có innodb_log_buffer_size=4M. Mặc định là 8M. Điều đó sẽ gây ra gấp đôi số lần xả vào các bản ghi làm lại. Điều đó cũng sẽ chống lại innodb_flush_log_at_trx_commit=2thiết lập của bạn . Vui lòng đặt thành 32M. Ngoài ra, vui lòng xem Tài liệu MySQL trên innodb_log_buffer_size .

Trước những quan sát này, vui lòng thêm hoặc thay thế các cài đặt sau:

[mysqld]
innodb_thread_concurrency = 0
innodb_read_io_threads = 64
innodb_write_io_threads = 64
innodb_io_capacity = 5000
innodb_file_per_table
innodb_log_file_size=1G
innodb_log_buffer_size=1G
bulk_insert_buffer_size = 256M

Bạn nên kiểm tra innodb_log_file_size, cài đặt mặc định là 5M, khá thấp để ghi các thiết lập chuyên sâu. Cân nhắc đặt nó thành 100M. Bạn sẽ phải xóa các ib_logfile*tệp cũ để khởi động DB với cài đặt mới. Vui lòng không xóa các tệp nhật ký trong khi máy chủ DB đang chạy, bạn sẽ phải dừng nó trước. Có lẽ bạn nên sao lưu các tệp nhật ký cũ trước, không chỉ xóa chúng.