Làm cách nào để sao chép hiệu quả hàng triệu hàng từ bảng này sang bảng khác trong Postgresql?

Tôi có hai bảng cơ sở dữ liệu. Một chứa hàng trăm triệu hồ sơ. Hãy gọi nó là một history. Một cái khác được tính trên cơ sở hàng ngày và tôi muốn sao chép tất cả các hồ sơ của nó vào historymột.

Những gì tôi đã làm là chạy:

INSERT INTO history SELECT * FROM daily

Và nó đã thực hiện được mánh khóe trong một thời gian, nhưng nó bắt đầu ngày càng chậm hơn khi số lượng hồ sơ tiếp tục tăng lên. Bây giờ tôi có khoảng 2 triệu bản mà cần phải được sao chép từ dailyđể historyđi vào hoạt động duy nhất và phải mất quá nhiều thời gian để hoàn tất.

Có cách nào khác, hiệu quả hơn để sao chép dữ liệu từ bảng này sang bảng khác không?

Nếu bạn có kế hoạch lưu giữ lịch sử trong thời gian dài (nhiều tháng), tôi khuyên bạn nên xem xét các tùy chọn phân vùng - có thể là một phân vùng cho mỗi ngày hoặc tuần, v.v. Nó cũng phụ thuộc vào các mẫu truy cập của bảng lịch sử của bạn (bạn có chạy các truy vấn truy cập dữ liệu qua các ngày không? Bạn có thực hiện nhiều kết hợp không, v.v.). Có một cái nhìn vào các khung nhìn cụ thể để lưu trữ tổng hợp / tóm tắt. http://www.postgresql.org/docs/9.3/static/ddl-partitioning.html http://www.postgresql.org/docs/9.3/static/sql-createm vật liệuview.html

Kết xuất bảng ở định dạng csv

COPY table TO '/tmp/table.csv' DELIMITER ',';

sử dụng lệnh COPY hiệu quả hơn nhiều đối với lượng lớn dữ liệu.

COPY table FROM '/tmp/table.csv' DELIMITER ',';

Kiểm tra tài liệu postgres tại http://www.postgresql.org/docs/civerse/static/sql-copy.html để biết thêm thông tin

Vấn đề là với các chỉ số. Cáchistory bảng có 160M hàng được lập chỉ mục. Bằng cách chạy một trong hai COPY FROMhoặc INSERT INTO .. SELECTmất rất nhiều thời gian để không chèn các hàng, nhưng để cập nhật các chỉ mục. Khi tôi vô hiệu hóa các chỉ mục, nó đã nhập các hàng 3M trong 10 giây. Bây giờ tôi cần tìm cách nhanh hơn để reindexing bảng lớn.

Bạn có thể dùng công cụ psql , tôi có thể hiệu quả, như sau,

psql -h ${DAILY_HOST_IP} -p ${PG_PORT} ${DB_NAME} ${USER_NAME} -c "copy daily to stdout " | psql -h ${HISTORY_HOST_IP} -p ${PG_PORT} ${DB_NAME} ${USER_NAME}  -c "copy history from stdin"

Ngoài ra, bạn có thể viết một kịch bản shell.

Tất nhiên đây không phải là một câu trả lời chính xác cho câu hỏi của bạn, nhưng nếu bạn không cần truy cập vào historybảng, bạn cũng có thể tạo ra một kết xuất SQL:

pg_dump -h host -p port -w -U user db > dump.sql

Sau đó, người ta có thể sử dụng một công cụ như gitđể tính toán sự khác biệt và lưu trữ điều này một cách hiệu quả.

git add dump.sql
git commit -m "temp dump"
git gc --aggressive

Điều này rất hữu ích vì hầu hết các phần trong cơ sở dữ liệu sẽ không thay đổi mỗi ngày. Thay vì lưu trữ toàn bộ một bản sao cho mỗi ngày, người ta có thể lưu trữ sự khác biệt giữa hai ngày.

Bạn có thể sử dụng một crontabcông việc sao cho bãi rác được xử lý mỗi ngày.