Độ trễ trong một trung tâm dữ liệu là gì? Tôi hỏi điều này giả sử có những đơn đặt hàng có độ lớn khác nhau

Tôi đang cố gắng tìm ra điều gì đó mà tôi không thể tìm được câu trả lời hay.

Nếu tôi nói rằng bộ đệm REDIS (hoặc một số bộ đệm trong bộ nhớ ngoài) đang ngồi trong một trung tâm dữ liệu và một máy chủ ứng dụng ngồi trong cùng một trung tâm dữ liệu, tốc độ của kết nối mạng (độ trễ, thông lượng) sẽ là bao nhiêu để đọc dữ liệu Giữa hai máy này?

Chẳng hạn, "tốc độ" của mạng sẽ vẫn ít nhất là một thứ tự cường độ cao hơn tốc độ của RAM đang tìm kiếm dữ liệu của tôi ra khỏi bộ đệm trên REDIS?

Câu hỏi cuối cùng của tôi là - liệu tất cả có nằm trong bộ nhớ trên REDIS thực sự cung cấp bất kỳ tiện ích nào không? Trái ngược với việc liệu REDIS có lưu tất cả bộ nhớ cache này vào ổ SSD không? Bộ nhớ là đắt tiền. Nếu mạng thực sự không phải là nút cổ chai TRONG trung tâm dữ liệu, thì bộ nhớ có giá trị. Mặt khác, nó không.

Tôi đoán câu hỏi chung của tôi là mặc dù có nhiều ẩn số trong các trung tâm dữ liệu và không có khả năng khái quát hóa cũng như phương sai, chúng ta có nói đủ các mức độ lớn giữa độ trễ bộ nhớ trong hệ thống máy tính và thậm chí cả mạng tốt nhất bên trong DC mà bộ nhớ độ trễ giảm không cung cấp một cải thiện hiệu suất đáng kể? Tôi hiểu rằng có nhiều biến số, nhưng nó gần đến mức nào? Có gần đến mức các biến này có vấn đề? Ví dụ: hãy có lập trường cường điệu về nó, ổ băng từ chậm hơn mạng, vì vậy băng không lý tưởng cho bộ đệm.

Có một số phiên bản của "biểu đồ độ trễ mà mọi người nên biết", chẳng hạn như:

• https: //people.eecs.ber siêu.edu / ~ rcs / research / interactive_latency.html
• https://gist.github.com/jboner/2841832
• https://computers-are-fast.github.io/

Điều này là, trong thực tế, có nhiều hơn chỉ là độ trễ. Đó là sự kết hợp của các yếu tố.

Vì vậy, độ trễ mạng trong một trung tâm dữ liệu là gì? Độ trễ, tôi sẽ nói nó "luôn luôn" dưới 1ms. Có nhanh hơn RAM không? Không. Nó có gần với RAM không? Tôi không nghĩ vậy.

Nhưng câu hỏi vẫn còn, nó có liên quan. Đó có phải là mốc thời gian bạn cần biết? Câu hỏi của bạn có ý nghĩa với tôi. Vì mọi thứ đều có chi phí, bạn nên có thêm RAM để tất cả dữ liệu có thể ở trong RAM hoặc thỉnh thoảng bạn có thể đọc từ đĩa.

"Giả định" của bạn là nếu độ trễ của mạng cao hơn (chậm hơn) so với tốc độ của SSD, bạn sẽ không đạt được bằng cách có tất cả dữ liệu trong RAM vì bạn sẽ có mạng chậm.

Và nó sẽ xuất hiện như vậy. Nhưng, bạn cũng phải tính đến sự tương tranh. Nếu bạn nhận được 1.000 yêu cầu cho dữ liệu cùng một lúc, đĩa có thể thực hiện 1.000 yêu cầu đồng thời không? Tất nhiên là không, vậy sẽ mất bao lâu để phục vụ 1.000 yêu cầu đó? So với RAM?

Thật khó để đun sôi nó xuống một yếu tố duy nhất như tải nặng. Nhưng có, nếu bạn đã có một hoạt động duy nhất, độ trễ của mạng là do bạn có thể sẽ không nhận thấy sự khác biệt của SSD so với RAM.

Giống như cho đến khi đĩa 12Gbps xuất hiện trên thị trường, liên kết mạng 10Gbps sẽ không bị quá tải bởi một luồng vì đĩa là nút cổ chai.

Nhưng hãy nhớ rằng đĩa của bạn đang làm nhiều thứ khác, quy trình của bạn không phải là quy trình duy nhất trên máy, mạng của bạn có thể mang những thứ khác nhau, v.v.

Ngoài ra, không phải tất cả các hoạt động đĩa có nghĩa là lưu lượng mạng. Truy vấn cơ sở dữ liệu đến từ một ứng dụng đến máy chủ cơ sở dữ liệu chỉ có lưu lượng mạng rất nhỏ. Phản hồi từ máy chủ cơ sở dữ liệu có thể rất nhỏ (một số) hoặc rất lớn (hàng nghìn hàng có nhiều trường). Để thực hiện thao tác, một máy chủ (máy chủ cơ sở dữ liệu hoặc không) có thể cần thực hiện nhiều lần tìm kiếm đĩa, đọc và ghi nhưng chỉ gửi một bit rất nhỏ qua mạng. Đó chắc chắn không phải là RAM một đĩa một.

Cho đến nay tôi đã tránh một số chi tiết về câu hỏi của bạn - cụ thể là phần Redis.

Redis là một mã nguồn mở (BSD được cấp phép), lưu trữ cấu trúc dữ liệu trong bộ nhớ, được sử dụng làm cơ sở dữ liệu, bộ đệm và môi giới tin nhắn. - https://redis.io/

OK, điều đó có nghĩa là mọi thứ đều nằm trong bộ nhớ. Xin lỗi, ổ SSD nhanh này sẽ không giúp bạn ở đây. Redis có thể lưu dữ liệu vào đĩa, vì vậy nó có thể được tải vào RAM sau khi khởi động lại. Điều đó chỉ để không "mất" dữ liệu hoặc phải sao lưu bộ đệm lạnh sau khi khởi động lại. Vì vậy, trong trường hợp này, bạn sẽ phải sử dụng RAM, bất kể điều gì. Bạn sẽ phải có đủ RAM để chứa tập dữ liệu của bạn. Không đủ RAM và tôi đoán hệ điều hành của bạn sẽ sử dụng swap- có lẽ không phải là một ý tưởng tốt.

Có nhiều lớp bộ đệm trong hệ thống máy tính. Chèn một lớp ở lớp ứng dụng có thể có ích, lưu bộ đệm API và truy vấn cơ sở dữ liệu. Và có thể dữ liệu tạm thời như phiên người dùng.

Các cửa hàng dữ liệu như Redis cung cấp dịch vụ như vậy qua mạng (nhanh) hoặc ổ cắm UNIX (thậm chí nhanh hơn), giống như bạn sẽ sử dụng cơ sở dữ liệu.

Bạn cần đo lường cách ứng dụng của bạn thực sự hoạt động, nhưng hãy tạo một ví dụ. Giả sử một yêu cầu người dùng phổ biến thực hiện 5 truy vấn API mất 50 ms mỗi truy vấn. 250 ms là độ trễ phát hiện người dùng. Tương phản với bộ nhớ đệm kết quả. Ngay cả khi bộ đệm nằm trong vùng khả dụng khác nhau trên toàn thị trấn (không tối ưu), số lần truy cập có thể cao nhất là 10 ms. Đó sẽ là một tăng tốc 5x.

Trong thực tế, cơ sở dữ liệu và hệ thống lưu trữ cũng có bộ nhớ riêng. Tuy nhiên, thông thường sẽ nhanh hơn để có được kết quả tìm nạp trước hơn là đi qua lớp cơ sở dữ liệu và các lớp hệ thống lưu trữ một lần nữa. Ngoài ra, lớp bộ đệm có thể giảm tải đáng kể cơ sở dữ liệu đằng sau nó.

Đối với một ví dụ về bộ đệm như vậy trong sản xuất, không có gì khác ngoài blog cơ sở hạ tầng Stack Overflow về kiến ​​trúc . Hàng trăm ngàn yêu cầu HTTP tạo ra hàng tỷ lượt truy cập Redis là khá quan trọng.

Bộ nhớ là đắt tiền.

DRAM ở thời gian truy cập 100 ns nhanh hơn khoảng 100 lần so với lưu trữ vĩnh viễn ở trạng thái rắn. Nó là tương đối rẻ tiền cho hiệu suất này. Đối với nhiều ứng dụng, RAM nhiều hơn một chút mua tốc độ và thời gian đáp ứng có giá trị.