Có bao nhiêu lựa chọn mỗi giây một máy chủ mysql có thể chạy?

Tôi đang viết một kế hoạch kinh doanh và tôi phải mô phỏng chi phí khi trang web của tôi sẽ đạt được từ 500.000 khách truy cập.

• khách truy cập: 500.000
• số lượt xem trang: 1.500.000
• lượt xem trang của nhện: 500.000
• tổng số lượt xem trang: 2.000.000

Mỗi trang thực hiện 50 truy vấn + -

• truy vấn mỗi ngày: 100 triệu
• mỗi giờ: 4 triệu
• mỗi phút: 70.000
• mỗi giây: 1.200
• cao điểm: 3.000

Thực hiện phép tính này tôi cần 3.000 truy vấn thứ hai ... loại máy chủ nào có thể xử lý nó?

Vấn đề là: thực sự trang web của tôi đang thực hiện 2.000 lượt truy cập mỗi ngày và có - + 150/200 truy vấn / giây ... bắt đầu từ thời điểm này tôi sẽ mong đợi 50.000 truy vấn / giây.

Có bao nhiêu máy chủ tôi cần trong cụm hoặc nhân rộng để quản lý công việc này?

Tôi từng làm việc cho một công ty thương mại điện tử với một trang web có vài triệu lượt truy cập trang mỗi ngày. Chúng tôi đã có một DELL PE 1750 với 2 CPU lõi đơn và 2GB RAM, kích thước cơ sở dữ liệu xấp xỉ. 4GB. Vào những lúc cao điểm, máy chủ này xử lý tới 50k + truy vấn mỗi giây.

Đã nói điều này: cơ sở dữ liệu được cấu trúc tốt, tất cả các truy vấn đều được tinh chỉnh (chúng tôi có các phiên hàng tuần phân tích nhật ký truy vấn chậm và sửa các truy vấn và chỉ mục) và thiết lập máy chủ cũng được tinh chỉnh. Bộ nhớ đệm chắc chắn là một ý tưởng tốt, nhưng dù sao thì MySQL cũng phải phân tích hiệu năng và sau đó tinh chỉnh cách sử dụng bộ nhớ của bạn (truy vấn bộ đệm so với các tùy chọn khác).

Từ kinh nghiệm đó tôi có thể nói với bạn rằng tác động cao nhất là do thiếu chỉ mục, chỉ mục sai và thiết kế cơ sở dữ liệu xấu (ví dụ: các trường chuỗi dài làm khóa chính và vô nghĩa tương tự).

Tất cả phụ thuộc vào mức độ phức tạp của truy vấn và dung lượng bộ nhớ của máy chủ và tốc độ của các đĩa.

Nếu các truy vấn rất đơn giản, hoặc được điều chỉnh rất tốt thì một máy chủ cơ sở dữ liệu lớn có thể xử lý việc đó. Tuy nhiên, nếu các truy vấn rất phức tạp (hoặc đơn giản nhưng được điều chỉnh kém) thì bạn sẽ cần một vài máy chủ.

Điều này thực sự không thể ước tính mà không biết gì về các truy vấn cụ thể bạn đang chạy, sơ đồ cơ sở dữ liệu và kích thước của nó.

Một đơn giản SELECT trên một cột được lập chỉ mục là khá một con thú khác nhau từ một vài tham gia dựa trên loại hình ngoài được lập chỉ mục ... và tất nhiên mọi thứ thay đổi rất nhiều nếu các bảng có liên quan chứa 1K hồ sơ hoặc 1M.

Cũng thế:

• Cấu hình phần cứng hiện tại của bạn là gì?
• Máy chủ của bạn sử dụng bao nhiêu năng lượng (CPU, RAM, Đĩa I / O) theo tải hiện tại?

Như Ignacio đã nhận xét, bạn có thể muốn xem xét bộ nhớ đệm. Trong cms hoặc có lẽ ngay cả trước ngăn xếp. Hơn 50 truy vấn cho mỗi trang (mỗi!) Thực sự là rất nhiều.

Đánh giá theo nhận xét của bạn, yếu tố lớn nhất sẽ là kích thước tập dữ liệu của bạn hoặc ít nhất là kích thước của tập dữ liệu "nóng". 3.000qps hoặc thậm chí 8.000qps trên máy chủ 16 lõi hoàn toàn không phải là vấn đề miễn là máy chủ hiếm khi phải vào đĩa để đáp ứng truy vấn. Khi bộ dữ liệu hoạt động vượt quá dung lượng bộ nhớ mà InnoDB đang sử dụng để lưu trữ bộ đệm, hiệu suất của bạn sẽ giảm xuống nhanh chóng.

Đối với các bộ dữ liệu "nóng" lớn, có lẽ đáng để đầu tư kịp thời để chuyển đổi sang sơ đồ "dữ liệu lớn", đó là những gì chúng dành cho. Ví dụ: nếu bạn có một lượng lớn dữ liệu cần truy xuất, nhưng bạn không bao giờ viết lại mà chỉ nối thêm dữ liệu mới, hãy xem Apache Hive. Duyệt xung quanh, chúng thường là một hương vị bạn có thể giao tiếp đủ dễ dàng với mã hiện có, điều đó cũng sẽ ngăn chặn sự ợ nóng khi hết dung lượng bộ nhớ cache.

Có quá nhiều thứ có thể ảnh hưởng đến truy vấn của bạn mỗi giây, vui lòng không tin tưởng vào dữ liệu của tôi mà không tự kiểm tra. Tôi đăng kết quả kiểm tra tốc độ của mình lên đây để giúp ai đó ước tính qps với cơ sở dữ liệu và máy mysql hiện tại (2018-09). Trong thử nghiệm của tôi, kích thước dữ liệu nhỏ hơn bộ nhớ máy chủ (điều đó làm giảm đáng kể IO và tăng cường hiệu năng rất nhiều).

Tôi sử dụng một bộ nhớ cpu 3,75GB, ssd 100GB, gcp đám mây máy chủ mysql và nhận:

• 1 khách hàng, một sql một hàng đọc: 799 sql / giây.
• 50 khách hàng, một sql một hàng đọc: 6403 sql / giây.
• 50 khách hàng, một sql một hàng viết: 4341 hàng viết, qps. 4341 sql / giây.
• 1 khách hàng, 30k hàng ghi trên mỗi sql: 92109 hàng viết / s.