Áp dụng thuật toán trên dữ liệu lớn

Có cuốn sách hay hướng dẫn nào dạy chúng ta cách áp dụng hiệu quả các thuật toán phổ biến (sắp xếp, tìm kiếm, v.v.) trên dữ liệu lớn (tức là dữ liệu không thể tải đầy đủ vào bộ nhớ chính) và cách áp dụng hiệu quả các thuật toán đó xem xét chi phí của chuyển khối từ bộ nhớ ngoài? Ví dụ, hầu hết tất cả các sách giáo khoa thuật toán đều nói rằng B và B + -trees có thể được sử dụng để lưu trữ dữ liệu trên đĩa. Tuy nhiên, thực sự làm thế nào điều này có thể được thực hiện, đặc biệt là xử lý các con trỏ nơi dữ liệu hiện diện trên đĩa không được giải thích. Tương tự, mặc dù nhiều cuốn sách dạy các kỹ thuật tìm kiếm, chúng không xem xét dữ liệu hiện diện trong bộ nhớ thứ cấp.

Tôi đã kiểm tra cuốn sách của Knuth. Mặc dù nó thảo luận về những ý tưởng này, tôi vẫn không hiểu làm thế nào để thực sự áp dụng chúng trong một ngôn ngữ cấp cao. Có bất kỳ tài liệu tham khảo thảo luận về các chi tiết?

Sách cơ sở dữ liệu là ví dụ tốt. Tuy nhiên, hãy xem trường cấu trúc dữ liệu hiệu quả I / O (và thuật toán). Theo hiểu biết của tôi, có một số khóa học về chủ đề này, nhưng rất ít sách.

Kiểm tra cuốn sách này: U. Meyer, P. Sanders và J. Sibeyn (chủ biên), Thuật toán phân cấp bộ nhớ, Ghi chú bài giảng trong Khoa học máy tính 2625, Springer, 2003.

Kiểm tra các khóa học này: http://www.win.tue.nl/~hermanh/teaching/2IL35/ http://www.daimi.au.dk/~large/ioS12/

và các slide này: algo2.iti.kit.edu/sanders/cifts/algen09-10/rdslides.pdf

Cuốn sách cơ sở dữ liệu của Ramkrishnan và Gehrke thảo luận về những điều này một cách chi tiết.

Có lẽ những gì bạn đang tìm kiếm trong một cuốn sách gọn gàng: Thuật toán và cấu trúc dữ liệu cho bộ nhớ ngoài của Jeffrey Scott Vitter.

Ngày nay, lĩnh vực này được gọi là dữ liệu lớn , và nó đang phát triển rất nhanh và nhanh chóng dựa trên sự kết nối mạnh mẽ với công nghệ cơ sở dữ liệu ảo hóa và quan hệ chỉ được coi là một tập hợp con. Cũng như ghi chú nhận xét, cơ sở dữ liệu khóa / giá trị và NoQuery là nơi có nhiều cải tiến và động lực mới. Nhưng từ ý kiến ​​của bạn, bạn dường như quan tâm nhiều hơn đến các nguyên tắc và kỹ thuật thiết kế cơ sở dữ liệu quan hệ . Hãy thử các ref sau:

• Cơ sở dữ liệu DeMYSTiFieD, Phiên bản 2 của Oppel

• Thiết kế cơ sở dữ liệu cho những người bình thường: Hướng dẫn thực hành về thiết kế cơ sở dữ liệu quan hệ (Ấn bản thứ 2) của Hernandez

• Thiết kế cơ sở dữ liệu bắt đầu: Từ Novice đến Professional bởi Churcher

• Hướng dẫn tuyệt đối cho người mới bắt đầu cơ sở dữ liệu của Petersen