Mysql: tạo chỉ mục trên 1,4 tỷ hồ sơ

Tôi có một bảng với 1,4 tỷ hồ sơ. Cấu trúc bảng như sau:

CREATE TABLE text_page (
    text VARCHAR(255),
    page_id INT UNSIGNED
) ENGINE=MYISAM DEFAULT CHARSET=ascii

Yêu cầu là tạo một chỉ mục trên cột text.

Kích thước bàn khoảng 34G.

Tôi đã cố gắng tạo chỉ mục bằng tuyên bố sau:

ALTER TABLE text_page ADD KEY ix_text (text)

Sau 10 giờ chờ đợi, cuối cùng tôi đã từ bỏ phương pháp này.

Có bất kỳ giải pháp khả thi về vấn đề này?

CẬP NHẬT : bảng không có khả năng được cập nhật hoặc chèn hoặc xóa. Lý do tại sao để tạo chỉ mục trên cột textlà vì loại truy vấn sql này sẽ được thực thi thường xuyên:

SELECT page_id FROM text_page WHERE text = ?

CẬP NHẬT : Tôi đã giải quyết vấn đề bằng cách phân vùng bảng.

Bảng được phân chia thành 40 mảnh trên cột text. Sau đó, việc tạo chỉ mục trên bảng mất khoảng 1 giờ để hoàn thành.

Có vẻ như việc tạo chỉ mục MySQL trở nên rất chậm khi kích thước bảng trở nên rất lớn. Và phân vùng làm giảm bảng thành thân nhỏ hơn.

Nó có thể là hệ thống của bạn không theo nhiệm vụ? Tôi không sử dụng MySQL (SQL Server tại đây), nhưng tôi biết nỗi đau của việc lập chỉ mục một bảng nhập 800 triệu. Về cơ bản .... bạn cần phần cứng phù hợp cho việc đó (như trong: rất nhiều đĩa nhanh). Bây giờ tôi sử dụng gần một chục Velociraptors và hiệu suất rất tuyệt;)

Máy chủ SQL (không phải là MS SQL Server, nhưng là máy chủ cơ sở dữ liệu sử dụng SQL) sống và chết với quyền truy cập đĩa và các đĩa thông thường không phụ thuộc vào nhiệm vụ của các hoạt động lớn hơn.

Bạn có thể muốn tạo một chỉ mục trên các ký tự đầu tiên (ví dụ: 10) của trường văn bản.

Từ Tài liệu:

Chỉ mục có thể được tạo chỉ sử dụng phần đầu của các giá trị cột, sử dụng cú pháp col_name (length) để chỉ định độ dài tiền tố chỉ mục:

CREATE INDEX ix_text ON text_page (text(10))

Tôi đã giải quyết vấn đề bằng cách phân vùng bảng.

Bảng được phân chia thành 40 mảnh trên cột text. Sau đó, việc tạo chỉ mục trên bảng mất khoảng 1 giờ để hoàn thành.

Có vẻ như việc tạo chỉ mục MySQL trở nên rất chậm khi kích thước bảng trở nên rất lớn. Và phân vùng làm giảm bảng thành thân nhỏ hơn.

Đặt sort_buffer_size thành 4GB (hoặc nhiều hơn bạn có thể tùy thuộc vào dung lượng bộ nhớ của bạn).

Ngay bây giờ, chỉ mục tạo đang thực hiện sắp xếp nhưng vì bạn có sort_buffer_size 32 MB, về cơ bản, nó không cần thiết phải phá hủy ổ cứng.

Nếu bạn không cần thực hiện các truy vấn như:

SELECT page_id FROM text_page WHERE text LIKE '?%';

Tôi sẽ đề nghị tạo một cột băm mới và lập chỉ mục bảng theo cột. Kích thước quá mức của bảng + chỉ mục có thể nhỏ hơn nhiều.

CẬP NHẬT : Nhân tiện, 1,4 tỷ số nguyên khóa chính chiếm khoảng 6 GB, đó là độ dài trung bình của chuỗi dưới 30 ký tự, đó là lập chỉ mục trên tiền tố có thể thích hợp hơn.

Bạn cũng nên xem qua công cụ lưu trữ MERGE .

Một cách để làm điều này là tạo một bảng mới với bộ chỉ mục và sao chép dữ liệu vào bảng mới.

Ngoài ra, hãy chắc chắn rằng bạn có đủ không gian tạm thời.

Trong trường hợp bạn vẫn đang tự hỏi làm thế nào để làm điều này tốt nhất, tôi sẽ đề nghị bạn sử dụng một công cụ thay đổi bảng trực tuyến.

Có rất nhiều trong số họ trên internet, một trong những người nổi tiếng là:

• Thay đổi lược đồ trực tuyến của Percona (tôi sử dụng cái này)
  http://www.percona.com/doc/percona-toolkit/2.2/pt-online-schema-change.html
• Facebook OSC, tôi không thể tìm thấy một URL nơi bạn có thể tải xuống

Chúng tôi có cùng các vấn đề với các bảng lớn (hơn 500 triệu bản ghi) và việc thay đổi diễn ra hoàn hảo. Nó tạo một bảng tmp mới, thêm kích hoạt trên bảng gốc (đối với bản ghi cập nhật / xóa / chèn mới) và trong thời gian đó, nó sao chép tất cả các bản ghi vào bảng mới (với cấu trúc mới)

Chúc may mắn!