NoQuery và RDBMS cùng nhau?

Tôi đã tự hỏi nếu có bất kỳ giải pháp tốt nào để ghi dữ liệu trong cơ sở dữ liệu NoQuery và sau đó chuyển đổi chúng sang RDBMS?

Ví dụ: nếu bạn muốn nhanh chóng nắm bắt một số dữ liệu, như nhật ký phiên, nhưng sau đó bạn muốn có thể tạo báo cáo về chúng sau này.

Cơ sở dữ liệu yêu thích của tôi là Postgres, vì vậy nếu câu trả lời của bạn có liên quan đến Postgres thì sẽ rất tuyệt.

Câu trả lời nhanh - Có. Xảy ra mọi lúc.

Có rất nhiều giải pháp tốt. Những giải pháp đã có trong môi trường của bạn? Tôi đang giúp một khách hàng lấy thông tin hoạt động trang web / phiên của họ từ ứng dụng web của họ, họ viết nó vào xml sau đó giải nén xml đó vào Hadoop. Sau đó, họ sử dụng Hive trên đầu Hadoop để tạo tập hợp và sự kiện (bằng cách tham gia dữ liệu nhật ký này để tham chiếu dữ liệu từ trang web của họ mà họ lưu trữ trong cơ sở dữ liệu Postgres). Các tổng hợp và sự kiện này sau đó được tải vào RDBMS (chúng sử dụng SQL Server, do các phân tích phong phú được cung cấp trong ngăn xếp SQL Server).

Tôi sẽ khám phá Hadoop, xem Hive là công cụ truy vấn trên Hadoop cho phép bạn viết các truy vấn khai báo gần giống với SQL và được dịch sang các công việc MapReduce đằng sau hậu trường. Sau đó nhìn vào Sqoop, một công cụ khác trong gia đình Hadoop hỗ trợ bạn xuất / nhập dữ liệu.

http://hadoop.apache.org/ http://www.amazon.com/Hadoop-Definitive-Guide-Tom-White/dp/1449389732/ref=sr_1_1?s=books&ie=UTF8&qid=1319160463&sr=1-1 http : //www.cloudera.com/blog/2009/06/int sinh-sqoop / http://hive.apache.org/

Ngoài ra còn có các lựa chọn khác ...

Không phải tất cả NoQuery đều giống nhau. Ví dụ MongoDB có khả năng truy vấn rất tốt. rất dễ dàng để lấy dữ liệu, sắp xếp dữ liệu theo cách nhắc nhở bạn về SQL. Vì vậy, điều tôi đang nói là, bạn không nên nghĩ - SQL để báo cáo, trừ khi bạn có các công cụ sẵn có yêu cầu dữ liệu tuân thủ SQL, tất nhiên. Một số NoQuery khác có liên quan nhiều hơn một chút khi nhận được kết quả giống như SQL từ cửa hàng của bạn, chẳng hạn, CouchDB, không phải là tầm thường để xác định truy vấn loại mệnh đề đơn giản. MongodDB - Tôi đã sử dụng trình điều khiển Python - là một cinch. Vì vậy, tôi thấy việc lo lắng về việc chuyển dữ liệu của mình sang một cửa hàng quan hệ ít quan trọng hơn.