Cái bàn lớn
Hệ thống lưu trữ phân tán cho dữ liệu có cấu trúc
Bigtable là một hệ thống lưu trữ phân tán (được xây dựng bởi Google) để quản lý dữ liệu có cấu trúc được thiết kế để mở rộng quy mô rất lớn: petabyte dữ liệu trên hàng ngàn máy chủ hàng hóa.
Nhiều dự án tại Google lưu trữ dữ liệu trong Bigtable, bao gồm lập chỉ mục web, Google Earth và Google Finance. Các ứng dụng này đặt ra các yêu cầu rất khác nhau đối với Bigtable, cả về kích thước dữ liệu (từ URL đến trang web đến hình ảnh vệ tinh) và yêu cầu độ trễ (từ xử lý hàng loạt phụ trợ đến phục vụ dữ liệu thời gian thực).
Bất chấp những nhu cầu khác nhau, Bigtable đã cung cấp thành công một giải pháp linh hoạt, hiệu suất cao cho tất cả các sản phẩm này của Google.
Một số tính năng
- DBMS nhanh và cực kỳ quy mô lớn
- một bản đồ được sắp xếp đa chiều thưa thớt, phân tán, chia sẻ các đặc điểm của cả cơ sở dữ liệu hướng hàng và hướng cột.
- được thiết kế để mở rộng phạm vi petabyte
- nó hoạt động trên hàng trăm hoặc hàng ngàn máy
- thật dễ dàng để thêm nhiều máy vào hệ thống và tự động bắt đầu tận dụng các tài nguyên đó mà không cần cấu hình lại
- mỗi bảng có nhiều thứ nguyên (một trong số đó là một trường theo thời gian, cho phép tạo phiên bản)
- các bảng được tối ưu hóa cho GFS (Hệ thống tệp của Google) bằng cách chia thành nhiều máy tính bảng - các phân đoạn của bảng được phân chia theo một hàng được chọn sao cho máy tính bảng sẽ có kích thước ~ 200 megabyte.
Ngành kiến trúc
BigTable không phải là một cơ sở dữ liệu quan hệ. Nó không hỗ trợ các phép nối cũng như không hỗ trợ các truy vấn giống như SQL. Mỗi bảng là một bản đồ thưa thớt đa chiều. Các bảng bao gồm các hàng và cột và mỗi ô có dấu thời gian. Có thể có nhiều phiên bản của một ô có dấu thời gian khác nhau. Dấu thời gian cho phép các hoạt động như "chọn phiên bản 'của trang Web này" hoặc "xóa các ô cũ hơn ngày / giờ cụ thể."
Để quản lý các bảng lớn, Bigtable chia các bảng ở ranh giới hàng và lưu chúng dưới dạng máy tính bảng. Một máy tính bảng có dung lượng khoảng 200 MB và mỗi máy tiết kiệm khoảng 100 máy tính bảng. Thiết lập này cho phép các máy tính bảng từ một bảng được trải rộng giữa nhiều máy chủ. Nó cũng cho phép cân bằng tải hạt mịn. Nếu một bảng nhận được nhiều truy vấn, nó có thể loại bỏ các máy tính bảng khác hoặc di chuyển bảng bận sang máy khác không quá bận. Ngoài ra, nếu một máy bị hỏng, một máy tính bảng có thể được trải rộng trên nhiều máy chủ khác để tác động hiệu suất lên bất kỳ máy cụ thể nào là tối thiểu.
Các bảng được lưu trữ dưới dạng SSTables bất biến và đuôi của các bản ghi (một bản ghi trên mỗi máy). Khi một máy hết bộ nhớ hệ thống, nó sẽ nén một số máy tính bảng bằng các kỹ thuật nén độc quyền của Google (BMDiff và Zippy). Các phép tính nhỏ chỉ liên quan đến một vài máy tính bảng, trong khi các phép tính chính liên quan đến toàn bộ hệ thống bảng và phục hồi không gian đĩa cứng.
Các vị trí của máy tính bảng Bigtable được lưu trữ trong các tế bào. Việc tra cứu bất kỳ máy tính bảng cụ thể nào được xử lý bởi hệ thống ba tầng. Các khách hàng nhận được một điểm đến bảng META0, trong đó chỉ có một. Bảng META0 theo dõi nhiều máy tính bảng META1 có chứa vị trí của các máy tính bảng được tra cứu. Cả META0 và META1 đều sử dụng rất nhiều việc tìm nạp trước và bộ nhớ đệm để giảm thiểu tắc nghẽn trong hệ thống.
Thực hiện
BigTable được xây dựng trên Hệ thống tệp của Google (GFS), được sử dụng làm kho lưu trữ sao lưu cho các tệp nhật ký và dữ liệu. GFS cung cấp lưu trữ đáng tin cậy cho SSTables, định dạng tệp thuộc sở hữu của Google được sử dụng để duy trì dữ liệu bảng.
Một dịch vụ khác mà BigTable sử dụng rất nhiều là Chubby , một dịch vụ khóa phân tán đáng tin cậy, có tính sẵn sàng cao. Chubby cho phép khách hàng lấy một khóa, có thể liên kết nó với một số siêu dữ liệu, nó có thể gia hạn bằng cách gửi các tin nhắn còn sống lại cho Chubby. Các khóa được lưu trữ trong một cấu trúc đặt tên phân cấp giống như hệ thống tập tin.
Có ba loại máy chủ quan tâm chính trong hệ thống Bigtable:
- Máy chủ chính: gán máy tính bảng cho máy chủ máy tính bảng, theo dõi vị trí đặt máy tính bảng và phân phối lại các tác vụ khi cần.
- Máy chủ máy tính bảng: xử lý các yêu cầu đọc / ghi cho máy tính bảng và tách máy tính bảng khi chúng vượt quá giới hạn kích thước (thường là 100MB - 200MB). Nếu một máy chủ máy tính bảng bị lỗi, thì 100 máy chủ máy tính bảng mỗi máy chủ sẽ đón 1 máy tính bảng mới và hệ thống sẽ phục hồi.
- Khóa máy chủ: phiên bản của dịch vụ khóa phân tán Chubby. Rất nhiều hành động trong BigTable yêu cầu mua lại các khóa bao gồm mở máy tính bảng để viết, đảm bảo rằng không có nhiều hơn một Master hoạt động cùng một lúc và kiểm tra kiểm soát truy cập.
Ví dụ từ bài nghiên cứu của Google:
Một lát của bảng ví dụ lưu trữ các trang Web. Tên hàng là một
URL đảo ngược . Họ cột nội dung chứa nội dung trang và họ cột neo chứa
văn bản của bất kỳ neo nào tham chiếu trang. Trang chủ của CNN được tham chiếu bởi cả trang chủ Sports Illustrated và MY-look, do đó, hàng chứa các cột có tên
anchor:cnnsi.comvà
anchor:my.look.ca. Mỗi ô neo có một phiên bản ; cột nội dung có ba phiên bản , tại timestamps
t3, t5và t6.
API
Các hoạt động tiêu biểu cho BigTable là tạo và xóa các bảng và họ cột, ghi dữ liệu và xóa các cột khỏi một hàng. BigTable cung cấp các chức năng này cho các nhà phát triển ứng dụng trong API. Giao dịch được hỗ trợ ở cấp hàng, nhưng không phải qua một số khóa hàng.
Đây là liên kết đến bản PDF của bài nghiên cứu .
Và ở đây, bạn có thể tìm thấy một video cho thấy Jeff Dean của Google trong một bài giảng tại Đại học Washington , thảo luận về hệ thống lưu trữ nội dung Bigtable được sử dụng trong phần phụ trợ của Google.
