Cách thu nhỏ / lọc tệp ibdata1 trong MySQL

Tôi đang sử dụng MySQL trong localhost làm "công cụ truy vấn" để thực hiện thống kê trong R, nghĩa là mỗi khi tôi chạy tập lệnh R, tôi tạo cơ sở dữ liệu mới (A), tạo bảng mới (B), nhập dữ liệu vào B , gửi truy vấn để nhận những gì tôi cần, sau đó tôi thả B và thả A.

Nó hoạt động tốt với tôi, nhưng tôi nhận ra rằng kích thước tệp ibdata đang tăng nhanh, tôi không lưu trữ gì trong MySQL, nhưng tệp ibdata1 đã vượt quá 100 MB.

Tôi đang sử dụng cài đặt MySQL mặc định ít nhiều cho thiết lập, có cách nào để tôi có thể tự động thu nhỏ / lọc tệp ibdata1 sau một khoảng thời gian cố định không?

Cái đó ibdata1 không thu hẹp là một tính năng đặc biệt khó chịu của MySQL. Các ibdata1tập tin có thể không thực sự được thu nhỏ trừ khi bạn xóa tất cả các cơ sở dữ liệu, loại bỏ các tập tin và tải lại một bãi chứa.

Nhưng bạn có thể cấu hình MySQL để mỗi bảng, bao gồm các chỉ mục của nó, được lưu trữ dưới dạng một tệp riêng biệt. Theo cách đóibdata1 sẽ không phát triển lớn. Theo nhận xét của Bill Karwin, điều này được bật theo mặc định kể từ phiên bản 5.6.6 của MySQL.

Đó là một thời gian trước đây tôi đã làm điều này. Tuy nhiên, để thiết lập máy chủ của bạn sử dụng các tệp riêng biệt cho mỗi bảng, bạn cần thay đổi my.cnfđể kích hoạt tính năng này:

[mysqld]
innodb_file_per_table=1

http://dev.mysql.com/doc/refman/5.5/en/innodb-multipl-tablespaces.html

Khi bạn muốn lấy lại không gian từ ibdata1 bạn thực sự phải xóa tệp:

1. Thực hiện một mysqldumptrong tất cả các cơ sở dữ liệu, quy trình, trình kích hoạt, ngoại trừ mysqlvàperformance_schema cơ sở dữ liệu
2. Bỏ tất cả cơ sở dữ liệu trừ 2 cơ sở dữ liệu trên
3. Dừng mysql
4. Xóa ibdata1vàib_log tập tin
5. Bắt đầu mysql
6. Khôi phục từ bãi chứa

Khi bạn khởi động MySQL ở bước 5, ibdata1và ib_logcác tệp sẽ được tạo lại.

Bây giờ bạn phù hợp để đi. Khi bạn tạo một cơ sở dữ liệu mới để phân tích, các bảng sẽ được đặt trong ibd*các tệp riêng biệt chứ không phải trong ibdata1. Vì bạn thường bỏ cơ sở dữ liệu ngay sau đó, các ibd*tệp sẽ bị xóa.

http://dev.mysql.com/doc/refman/5.1/en/drop-database.html

Bạn có thể đã thấy điều này:
http://bugs.mysql.com/orms.php?id=1341

Bằng cách sử dụng lệnh ALTER TABLE <tablename> ENGINE=innodbhoặc OPTIMIZE TABLE <tablename>người ta có thể trích xuất dữ liệu và các trang chỉ mục từ ibdata1 để tách các tệp. Tuy nhiên, ibdata1 sẽ không thu nhỏ trừ khi bạn thực hiện các bước trên.

Về information_schemađiều đó, không cần thiết cũng không thể bỏ. Thực tế nó chỉ là một loạt các khung nhìn chỉ đọc, không phải các bảng. Và không có tệp nào liên quan đến chúng, thậm chí không có thư mục cơ sở dữ liệu. Việc informations_schemasử dụng bộ nhớ db-engine và được loại bỏ và được tạo lại khi dừng / khởi động lại mysqld. Xem https://dev.mysql.com/doc/refman/5.7/en/inatures-schema.html .

Thêm vào câu trả lời của John P ,

Đối với hệ thống linux, các bước 1-6 có thể được thực hiện bằng các lệnh sau:

1. mysqldump -u [username] -p[root_password] [database_name] > dumpfilename.sql
2. DROP DATABASE [database_name];
3. sudo /etc/init.d/mysqld stop
4. sudo rm /var/lib/mysql/ibdata1
sudo rm /var/lib/mysql/ib_logfile (và xóa mọi ib_logfile khác có thể được đặt tên ib_logfile0, ib_logfile1v.v ...)
5. sudo /etc/init.d/mysqld start
6. create database [database_name];
7. mysql -u [username]-p[root_password] [database_name] < dumpfilename.sql

Cảnh báo: các hướng dẫn này sẽ khiến bạn mất các cơ sở dữ liệu khác nếu bạn có các cơ sở dữ liệu khác trên phiên bản mysql này. Đảm bảo rằng các bước 1,2 và 6,7 được sửa đổi để bao gồm tất cả các cơ sở dữ liệu bạn muốn giữ.

Khi bạn xóa các bảng innodb, MySQL không giải phóng không gian bên trong tệp ibdata, đó là lý do tại sao nó tiếp tục phát triển. Những tập tin này hầu như không bao giờ thu nhỏ.

Cách thu nhỏ tệp ibdata hiện có:

http://dev.mysql.com/doc/refman/5.5/en/innodb-resize-system-tablespace.html

Bạn có thể viết kịch bản này và lên lịch cho tập lệnh chạy sau một khoảng thời gian cố định, nhưng đối với thiết lập được mô tả ở trên, có vẻ như nhiều không gian bảng là một giải pháp dễ dàng hơn.

Nếu bạn sử dụng tùy chọn cấu hình innodb_file_per_table, bạn tạo nhiều không gian bảng. Đó là, MySQL tạo các tệp riêng biệt cho mỗi bảng thay vì một tệp được chia sẻ. Những tệp riêng biệt này được lưu trữ trong thư mục của cơ sở dữ liệu và chúng sẽ bị xóa khi bạn xóa cơ sở dữ liệu này. Điều này sẽ loại bỏ sự cần thiết phải thu nhỏ / thanh lọc các tệp ibdata trong trường hợp của bạn.

Thông tin thêm về nhiều không gian bảng:

http://dev.mysql.com/doc/refman/5.5/en/innodb-multipl-tablespaces.html

Nếu bạn sử dụng công cụ lưu trữ InnoDB cho (một số) bảng MySQL của mình, có lẽ bạn đã gặp phải sự cố với cấu hình mặc định của nó. Như bạn có thể nhận thấy trong thư mục dữ liệu của MySQL (trong Debian / Ubuntu - / var / lib / mysql) nằm trong một tệp có tên 'ibdata1. Nó chứa gần như tất cả dữ liệu InnoDB (nó không phải là nhật ký giao dịch) của phiên bản MySQL và có thể trở nên khá lớn. Theo mặc định, tệp này có kích thước ban đầu là 10Mb và nó tự động mở rộng. Thật không may, theo thiết kế, tệp dữ liệu InnoDB không thể được thu nhỏ. Đó là lý do tại sao XÓA, TRUNCATE, DROP, v.v. sẽ không lấy lại không gian được sử dụng bởi tệp.

Tôi nghĩ bạn có thể tìm thấy lời giải thích và giải pháp tốt ở đó:

http://vdachev.net/2007/02/22/mysql-reducing-ibdata1/

Nhanh chóng viết kịch bản thủ tục câu trả lời được chấp nhận trong bash:

#!/usr/bin/env bash
DATABASES="$(mysql -e 'show databases \G' | grep "^Database" | grep -v '^Database: mysql$\|^Database: binlog$\|^Database: performance_schema\|^Database: information_schema' | sed 's/^Database: //g')"
mysqldump --databases $DATABASES -r alldatabases.sql && echo "$DATABASES" | while read -r DB; do
    mysql -e "drop database \`$DB\`"
done && \
    /etc/init.d/mysql stop && \
    find /var/lib/mysql -maxdepth 1 -type f \( -name 'ibdata1' -or -name 'ib_logfile*' \) -delete && \
    /etc/init.d/mysql start && \
    mysql < alldatabases.sql && \
    rm -f alldatabases.sql

Lưu dưới dạng purge_binlogs.shvà chạy nhưroot .

Không bao gồm mysql, information_schema, performance_schema(vàbinlog thư mục).

Giả sử bạn có tín dụng quản trị viên /root/.my.cnfvà cơ sở dữ liệu của bạn mặc định/var/lib/mysql thư mục .

Bạn cũng có thể lọc các bản ghi nhị phân sau khi chạy tập lệnh này để lấy lại nhiều dung lượng đĩa hơn với:

PURGE BINARY LOGS BEFORE CURRENT_TIMESTAMP;

Nếu mục tiêu của bạn là giám sát không gian trống của MySQL và bạn không thể ngăn MySQL thu nhỏ tệp ibdata của mình, thì hãy lấy nó thông qua các lệnh trạng thái bảng. Thí dụ:

MySQL> 5.1.24:

mysqlshow --status myInnodbDatabase myTable | awk '{print $20}'

MySQL <5.1.24:

mysqlshow --status myInnodbDatabase myTable | awk '{print $35}'

Sau đó so sánh giá trị này với tệp ibdata của bạn:

du -b ibdata1

Nguồn: http://dev.mysql.com/doc/refman/5.1/en/show-table-status.html

Trong một phiên bản mới của công thức nấu ăn máy chủ mysql ở trên sẽ nghiền nát cơ sở dữ liệu "mysql". Trong phiên bản cũ, nó hoạt động. Trong một số bảng mới, chuyển sang loại bảng INNODB và bằng cách đó, bạn sẽ làm hỏng chúng. Cách dễ nhất là:

• kết xuất tất cả các cơ sở dữ liệu của bạn
• gỡ cài đặt máy chủ mysql,
• thêm vào vẫn là my.cnf:

    [mysqld]
    innodb_file_per_table=1

• xóa tất cả trong / var / lib / mysql
• cài đặt máy chủ mysql
• khôi phục người dùng và cơ sở dữ liệu

Như đã lưu ý, bạn không thể thu nhỏ ibdata1 (để làm như vậy bạn cần phải đổ và xây dựng lại), nhưng thường cũng không có nhu cầu thực sự.

Sử dụng autoextend (có thể là cài đặt kích thước phổ biến nhất) ibdata1 lưu trữ lưu trữ, phát triển mỗi khi nó gần đầy. Điều đó làm cho ghi nhanh hơn khi không gian đã được phân bổ.

Khi bạn xóa dữ liệu, nó không co lại nhưng không gian bên trong tệp được đánh dấu là không sử dụng. Bây giờ khi bạn chèn dữ liệu mới, nó sẽ sử dụng lại không gian trống trong tệp trước khi phát triển tệp thêm nữa.

Vì vậy, nó sẽ chỉ tiếp tục phát triển nếu bạn thực sự cần dữ liệu đó. Trừ khi bạn thực sự cần dung lượng cho ứng dụng khác, có lẽ không có lý do gì để thu nhỏ nó.