Tôi có một bảng MySQL InnoDB với 1.000.000 bản ghi. Điều này có quá nhiều không? Hoặc cơ sở dữ liệu có thể xử lý điều này và hơn thế nữa? Tôi hỏi vì tôi nhận thấy rằng một số truy vấn (ví dụ: lấy hàng cuối cùng từ bảng) chậm hơn (giây) trong bảng có hàng 1 milon so với truy vấn có hàng 100.
Câu trả lời:
Tôi có một bảng MySQL InnoDB với 1000000 thanh ghi. Điều này có quá nhiều không?
Không, 1.000.000 hàng (bản ghi AKA) không phải là quá nhiều đối với cơ sở dữ liệu.
Tôi hỏi vì tôi nhận thấy rằng một số truy vấn (ví dụ: lấy đăng ký cuối cùng của một bảng) chậm hơn (giây) trong bảng có 1 triệu đăng ký so với trong một có 100.
Có rất nhiều điều để giải thích trong tuyên bố đó. Các nghi phạm thông thường là:
Tôi có một cơ sở dữ liệu với hơn 97.000.000 bản ghi ( 30GB datafile ) và không có vấn đề gì.
Chỉ cần nhớ xác định và cải thiện chỉ mục bảng của bạn .
Vì vậy, rõ ràng 1.000.000 không phải là NHIỀU! (Nhưng nếu bạn không lập chỉ mục; có, nó là NHIỀU)
Sử dụng 'giải thích' để kiểm tra truy vấn của bạn và xem có điều gì sai với kế hoạch truy vấn không.
EXPLAIN- người mới hay không.
EXPLAIN ;)
Tôi nghĩ đây là một quan niệm sai lầm phổ biến - kích thước chỉ là một phần của phương trình khi nói đến khả năng mở rộng cơ sở dữ liệu. Có những vấn đề khác khó (hoặc khó hơn):
Tập hợp làm việc lớn như thế nào (tức là bao nhiêu dữ liệu cần được tải vào bộ nhớ và hoạt động tích cực). Nếu bạn chỉ chèn dữ liệu và sau đó không làm gì với nó, đó thực sự là một vấn đề dễ giải quyết.
Mức độ đồng thời được yêu cầu? Chỉ có một người dùng chèn / đọc hay chúng ta có hàng nghìn khách hàng hoạt động cùng một lúc?
Mức độ hứa hẹn / độ bền và tính nhất quán của hiệu suất được yêu cầu? Chúng ta có phải đảm bảo rằng chúng ta có thể tôn trọng từng cam kết. Có ổn không nếu giao dịch trung bình diễn ra nhanh chóng, hay chúng tôi muốn đảm bảo rằng tất cả các giao dịch đều nhanh đáng tin cậy (kiểm soát chất lượng sáu sigma như - http://www.mysqlperformanceblog.com/2010/06/07/performance-optimization- và-sáu-sigma / ).
Bạn có cần thực hiện bất kỳ vấn đề hoạt động nào, chẳng hạn như ALTER lược đồ bảng? Trong InnoDB, điều này là có thể, nhưng cực kỳ chậm vì nó thường phải tạo một bảng tạm thời ở phía trước (chặn tất cả các kết nối).
Vì vậy, tôi sẽ nói rõ hai vấn đề hạn chế sẽ là:
Nếu ý bạn là 1 triệu hàng, thì nó phụ thuộc vào cách lập chỉ mục của bạn được thực hiện và cấu hình phần cứng của bạn. Một triệu hàng không phải là một số lượng lớn đối với cơ sở dữ liệu doanh nghiệp, hoặc thậm chí là cơ sở dữ liệu dành cho nhà phát triển trên thiết bị tốt.
nếu ý bạn là 1 triệu cột (không chắc là có thể có trong MySQL) thì có, điều này có vẻ hơi lớn và có thể sẽ gây ra vấn đề.
Đăng ký? Ý bạn là ghi lại?
Một triệu bản ghi không phải là một vấn đề lớn đối với một cơ sở dữ liệu ngày nay. Nếu bạn gặp phải bất kỳ vấn đề nào, có thể không phải do hệ thống cơ sở dữ liệu mà là do phần cứng mà bạn đang chạy. Rất có thể bạn sẽ không gặp sự cố với DB trước khi hết phần cứng để xử lý nó.
Bây giờ, rõ ràng là một số truy vấn chậm hơn những truy vấn khác, nhưng nếu hai truy vấn rất giống nhau chạy trong thời gian rất khác nhau, bạn cần phải tìm ra kế hoạch thực thi của cơ sở dữ liệu là gì và tối ưu hóa cho nó, tức là sử dụng các chỉ mục chính xác, chuẩn hóa thích hợp, v.v.
Ngẫu nhiên, không có cái gọi là bản ghi "cuối cùng" trong một bảng, từ quan điểm logic chúng không có thứ tự cố hữu.
SELECT LAST_INSERT_ID()thay vì truy vấn đó.
Tôi đã thấy các bảng không phân vùng với hàng tỷ bản ghi (được lập chỉ mục), tự kết hợp với nhau cho công việc phân tích. Cuối cùng chúng tôi đã phân vùng mọi thứ nhưng thành thật mà nói, chúng tôi không thấy sự khác biệt nhiều như vậy.
Điều đó nói rằng, đó là trong Oracle và tôi chưa kiểm tra khối lượng dữ liệu đó trong MySQL. Chỉ mục là bạn của bạn :)
Giả sử bạn có nghĩa là "bản ghi" bởi "thanh ghi" không, nó không quá nhiều, MySQL mở rộng quy mô thực sự tốt và có thể chứa nhiều bản ghi mà bạn có không gian trong đĩa cứng của mình.
Rõ ràng là mặc dù các truy vấn tìm kiếm sẽ chậm hơn. Thực sự không có cách nào khác ngoài việc đảm bảo rằng các trường được lập chỉ mục đúng cách.
Bảng càng lớn (càng có nhiều hàng trong đó), thì các truy vấn thường sẽ chạy chậm hơn nếu không có chỉ mục. Khi bạn thêm các chỉ mục phù hợp, hiệu suất truy vấn của bạn sẽ cải thiện hoặc ít nhất là không suy giảm nhiều khi bảng phát triển. Tuy nhiên, nếu bản thân truy vấn trả về nhiều hàng hơn khi bảng lớn hơn, thì bạn sẽ lại bắt đầu thấy sự xuống cấp.
Mặc dù 1 triệu hàng không phải là nhiều, nhưng nó cũng phụ thuộc vào lượng bộ nhớ bạn có trên máy chủ DB. Nếu bảng quá lớn để được máy chủ lưu trong bộ nhớ, thì các truy vấn sẽ chậm hơn.