Cơ sở dữ liệu phụ trợ nào phù hợp để triển khai IoT

Tôi phải cung cấp dịch vụ IoT cho khách hàng của mình. Các thành phần MQTT, Kafka và Rest Services sẽ được sử dụng để nhập dữ liệu từ các thiết bị vào cơ sở dữ liệu. Tôi cần thực hiện một số phân tích về dữ liệu trong phần phụ trợ. Kích thước dữ liệu sẽ là 135 byte / thiết bị và 6000 thiết bị / giây. Tôi đã chia sẻ kiến ​​trúc ở đây để hiểu các yêu cầu và các thành phần.

Tôi đã điều tra về các cửa hàng dữ liệu (MongoDB, Postgresql (TimescaleDB), Redis, Neo4j, Cassandra) và mọi nhà cung cấp đã chứng minh rằng cơ sở dữ liệu của họ phù hợp với trường hợp sử dụng IoT. Tôi đã nhầm lẫn về việc sử dụng cơ sở dữ liệu đã được chứng minh / đáng tin cậy nhất / có thể mở rộng cho IoT.

Điều gì có thể là cơ sở dữ liệu phù hợp nhất để nhập nhiều dữ liệu này và thực hiện phân tích?

Có bất kỳ điểm chuẩn đã được chứng minh cho cơ sở dữ liệu phù hợp cho IoT không?

Hãy cho những suy nghĩ và đề xuất của bạn.

Bạn bị giới hạn ở cơ sở dữ liệu NoQuery, bởi vì bất kỳ cơ sở dữ liệu SQL nào sẽ không cho phép bạn 6K TPS trực tiếp trên máy chủ cũng như bạn không thể sử dụng bất kỳ dịch vụ hoặc nền tảng đám mây SaaS nào chuyên về loại hoạt động đó - ví dụ: nhận dữ liệu viễn thông qua MQTT / Kafka, tách nó ra và lưu trữ cho 6000 thiết bị này và cung cấp API REST đơn giản để truy cập dữ liệu từ xa. Giống như flespi hoặc bất cứ điều gì tương tự.

IoT là dữ liệu chuỗi thời gian khá nhiều. Có một vài TSDB ngoài kia: InfluxDB, OpenTSDB, GridDB, v.v ... Tất cả chúng đều có phiên bản cộng đồng / oss để bạn có thể xem nó có phù hợp với nhu cầu của bạn không. InfluxDB là một phổ biến nhưng lưu ý rằng phân cụm chỉ có sẵn cho phiên bản trả phí. OpenTSD hoàn toàn là oss và GridDB nói rằng nó là định hướng IoT và nhanh hơn InfluxDB. Tùy thuộc vào nhu cầu của bạn, có thể bạn muốn tìm kiếm một thứ có tốc độ ăn nhanh.

Timescaledb, một phần mở rộng postgres được tùy chỉnh cho bộ dữ liệu thời gian hoạt động thực sự tốt. Và bạn có được các tính năng cơ sở dữ liệu quan hệ thông thường, sử dụng SQL, độ tin cậy, chỉ mục, khả năng mở rộng.

Câu hỏi rất rộng và không có câu trả lời chính xác nào, nhưng những liên kết này có thể giúp:

http://outlyer.com/blog/top10-open-source-time-series-database/

Theo dõi với điểm chuẩn: http://outlyer.com/blog/time-series-database-benchmark/

So sánh khác: https://gist.github.com/sacreman/00a85cf09251147175241d334aafa798

Tôi đặt một số quy tắc để cố gắng giới hạn phạm vi nếu không blog này sẽ không bao giờ kết thúc.

Chỉ có cơ sở dữ liệu chuỗi thời gian miễn phí và nguồn mở và các tính năng của chúng đã được so sánh. Vì vậy, có ai đó hỏi rằng bạn đã thử Kdb + và Informix chưa? Câu trả lời sẽ là không. Họ có lẽ là tuyệt vời mặc dù.

Danh sách này sẽ chỉ bao gồm các cơ sở dữ liệu tự phân loại chúng trong tài liệu tiếp thị của chúng theo chuỗi thời gian hoặc đã được viết bởi một công ty tuyệt vời như một thứ mà chúng đang sử dụng cho dữ liệu chuỗi thời gian.

Những gì đã được thực hiện là đọc các tài liệu chính thức, đọc StackOverflow, xem qua các vấn đề và mã của Github và nói chung là hack thông tin cùng nhau. Với điều này trong tâm trí một số sự thật có thể không chính xác.

Nếu bất cứ ai phát hiện ra bất cứ điều gì sai thực tế xin vui lòng cho tôi biết và tôi sẽ cập nhật blog.

Điểm chuẩn đã được dựa trên các tuyên bố và ước tính tiếp thị. Tại sao? Bởi vì điểm chuẩn là một phần lớn của công việc và dễ bị lỗi. Bạn luôn luôn nhận được những gì bạn nên điều chỉnh thiết lập không có giấy tờ đặc biệt này. Các số được liệt kê là rất thuận lợi cho hầu hết các cơ sở dữ liệu. Chúng là những con số được viết về hoặc tuyên bố trên Twitter tại một thời điểm trong quá khứ. Nếu bạn cảm thấy bất kỳ số nào sai, hãy cho tôi biết và tôi sẽ cập nhật chúng.

Ngoài các câu trả lời trước, tôi cũng khuyên bạn nên xem Tarantool , ClickHouse và ScyllaDB . Những giải pháp này là quá đủ cho hầu hết các trường hợp.

Ngoại trừ trong một số tình huống, đặc biệt là để nhúng, MDBX (hoặc một cái gì đó tương tự) có thể hữu ích.