Làm thế nào để các dịch vụ có tốc độ ăn sâu lớn cài đặt đủ đĩa cứng đủ nhanh?

Amazon, Facebook và Google phải xử lý TB nếu không phải PB mỗi ngày, điều đó có nghĩa là họ có người liên tục cài đặt đĩa cứng và cáp mới trong giá đỡ mới giống như cách bạn có thể xây dựng một máy chủ thông thường hoặc sử dụng công nghệ khác cho kết nối ổ đĩa en masse?

Tôi không biết có ai trong số họ thực sự cài đặt một máy chủ phần cứng tại một thời điểm không. Trở lại năm 2008, MS bắt đầu xây dựng các trung tâm dữ liệu của mình bằng cách đưa các máy chủ vào các thùng chứa máy chủ vận chuyển kín và có dây mà họ chỉ cần dỡ từ một chiếc xe tải và cắm các kết nối điện / mạng vào. Trong khi bản dựng 08 là sự pha trộn giữa các container và truyền thống cho trung tâm dữ liệu gần đây nhất của họ, họ đã đi đến một thiết kế prefab tùy chỉnh chịu thời tiết và không cần phải nằm trong các tòa nhà riêng biệt.

Cả HP và IBM đều bán các gói tương tự với các thùng chứa sẵn có đầy đủ các máy chủ chỉ cần kết nối nguồn / dữ liệu để triển khai.

Google có một số công nghệ mà họ đã phát triển nội bộ để lưu trữ những khối dữ liệu khổng lồ này. Sử dụng những công nghệ này, họ thực sự có thể thêm vô số xe tải đĩa cứng vào cụm của mình mà không có thời gian chết, nhưng vâng, họ vẫn cần người làm điều đó.

Theo như tôi biết từ Google Blog, hai phần chính là Hệ thống tệp của Google, đây là một hệ thống tệp phân tán có thể mở rộng đến quy mô thực sự lớn: Hệ thống tệp của Google

Và trên hệ thống tệp Google, họ có Bảng lớn là một loại cơ sở dữ liệu Giá trị khóa và cũng có quy mô lớn: Bảng lớn

Để đảm bảo tính sẵn sàng cao, mọi thứ đều dư thừa nhiều lần, hơn 3 lần trong hầu hết các trường hợp.

Điều đó chính xác. Tôi nhớ rằng có một lần, các trung tâm dữ liệu của Facebook đã bổ sung ba máy kéo rơ moóc chứa đầy ổ cứng và máy chủ gắn trên giá trong một ngày trung bình. Tất nhiên, họ có các sơ đồ phức tạp để làm cho lưu trữ có thể mở rộng và dự phòng. Google, ví dụ, có GFS . Facebook có ba trung tâm dữ liệu chỉ dành cho thiết bị của họ, mỗi trung tâm lớn hơn hai Wal-Marts và một trung tâm mới có kế hoạch lớn hơn bốn lần so với các trung tâm hiện có của họ.

Với các giải pháp lưu trữ Open Compute thế hệ mới có thể chứa 180 TB đĩa trong 4 đơn vị rack, PB không thực sự là một dung lượng lớn: thêm 1PB mỗi ngày có nghĩa là làm hỏng 5 máy chủ như vậy mỗi ngày, không phải là vấn đề lớn. Tốt hơn nữa, những thứ này có thể có khoảng $ 10K, có nghĩa là bạn đang trả ít hơn $ 60 mỗi TB.

Vì vậy, yeah, công nghệ có sẵn cho tất cả chúng ta để làm như vậy, với mức giá không phá vỡ ngân hàng.

Nhưng bạn phải nhớ rằng các công ty lớn hơn luôn có được thỏa thuận tốt hơn và ký hợp đồng lớn để mua số lượng lớn lưu trữ. Họ có thể nhận được các lô hàng nhỏ trải đều trong năm, nhưng không giống như họ chỉ đặt hàng 1PB mỗi lần.

Đây là một bài đăng blog thú vị từ BackBlaze về cách họ làm điều này (họ có thể không cần nhiều đĩa như Google hay Facebook, nhưng vẫn là toàn bộ), và những gì họ cần làm khi lũ lụt ở Thái Lan gây ra ổ cứng tốn kém và khó khăn hơn để có được bằng cách:

http://blog.backblaze.com/2012/10/09/backblaze_drive_farming/