Làm thế nào để tự động xử lý dữ liệu đo năng lượng xem xét các ngoại lệ và thiết lập lại đồng hồ?

Tôi muốn xử lý thuật toán dữ liệu đo năng lượng . Đồng hồ đo năng lượng đo một nhà sản xuất nhiệt hoặc năng lượng hoặc người tiêu dùng nhiệt hoặc năng lượng (nhưng không phải cả hai, vì vậy năng lượng đo được sẽ luôn có dấu hiệu tích cực). Không có thông tin bổ sung nào được biết về hệ thống năng lượng (như tải tối đa) cũng không phải về loại máy đo năng lượng - chỉ có thể truy cập dữ liệu được lưu trữ trong cơ sở dữ liệu. Việc xử lý sẽ được thực hiện bằng thuật toán xem dữ liệu trong một khoảng thời gian nhất định (không xử lý trực tiếp).

Thông thường, dữ liệu là đơn điệu yếu của mẫu

2015-04-01 00:00 20,78 Kwh

2015-04-01 00:05 30,80 kWh

2015-04-01 00:10 73,99 Kwh

2015-04-01 00:20 82.30 kwh

2015-04-01 00:25 82.30 kwh

2015-04-01 00:30 83,44 kWh

...

Năng lượng được sản xuất hoặc tiêu thụ trong một thời gian nhất định chỉ đơn giản là sự khác biệt của đồng hồ đo năng lượng. Càng xa càng tốt. Tuy nhiên, thuật toán phải giải quyết ba vấn đề sau:

1. Các ngoại lệ "ở trên" phải được phát hiện là dữ liệu không hợp lệ.

2015-04-01 00:00 20,78 Kwh

2015-04-01 00:05 30,80 kWh

2015-04-01 00:10 500 kWh

2015-04-01 00:20 82.30 kwh

2015-04-01 00:25 82.30 kwh

2015-04-01 00:30 83,44 kWh

....

2. Các ngoại lệ "bên dưới" phải được phát hiện là dữ liệu không hợp lệ.

2015-04-01 00:00 20,78 Kwh

2015-04-01 00:05 30,80 kWh

2015-04-01 00:10 20 kWh

2015-04-01 00:20 82.30 kwh

2015-04-01 00:25 82.30 kwh

2015-04-01 00:30 83,44 kWh

....

Trong các trường hợp không thể, có thể có một số ngoại lệ liên tiếp ở trên hoặc bên dưới hoặc kết hợp cả hai.

3. Một thiết lập lại của đồng hồ năng lượng phải được phát hiện tự động.

2015-04-01 00:00 20,78 Kwh

2015-04-01 00:05 30,80 kWh

2015-04-01 00:10 3,99 kWh

2015-04-01 00:20 12.30 kWh

2015-04-01 00:25 12.30 kWh

2015-04-01 00:30 13,44 kWh

...

Sau khi thiết lập lại, việc đếm bắt đầu lại từ cấp độ khác (thiết lập lại chỉ đơn giản là thay đổi cấp độ). Mức đếm bắt đầu từ sau khi thiết lập lại thường bằng 0, nhưng cũng có thể là bất kỳ số dương nào khác. Một thiết lập lại có thể xảy ra tại một thời điểm tùy ý (thường không quá thường xuyên).

Trước mắt tôi, các vấn đề 1. - 3. có vẻ phổ biến trong kỹ thuật đo lường và phải được giải quyết. Tuy nhiên, tôi không thể tìm thấy bất kỳ tài liệu về chủ đề này. Có ai biết về các giải pháp hiện có cho vấn đề này? Tất cả sự giúp đỡ sẽ được đánh giá cao.

Có hai cách để làm điều đó.

Cách cũ

Cách truyền thống là phát triển một tập hợp các quy tắc có phần tùy ý dựa trên các lỗi bạn tự phân loại. Bạn lọc ra tính không đơn điệu (dễ), xác định các bộ đặt lại (dễ) và cố gắng phát hiện các giá trị xấu khác (khó hơn). Điều đó cung cấp cho bạn một tập hợp các giá trị để đánh dấu là bị thiếu và sau đó bạn phân tích phần còn lại của dữ liệu. Phương pháp này không có căn cứ trên lý thuyết, nhưng bạn sẽ có biện pháp bảo vệ (hơi không đạt yêu cầu) rằng: "đó là cách nhiều người khác làm điều đó".

Thực hành tốt nhất

Cách thực hành tốt nhất để làm điều đó là viết ra xác suất của mọi thứ có liên quan, và sau đó áp dụng Định lý Bayes để tìm ra chuỗi thời gian thực có khả năng nhất là gì, dựa trên các quan sát được ghi lại của bạn.

Bạn bắt đầu với một phân phối trước cho tỷ lệ sử dụng năng lượng, dựa trên công việc trước đó.

Và sau đó tạo phân phối xác suất cho các cách mà lỗi có thể xảy ra: thiết lập lại mét, dấu thập phân giảm trong ghi âm; một chữ số bị rơi; một cách đọc hoàn toàn rác. Thêm vào một bản phân phối cho lỗi đo của chính đồng hồ đo: họ thường có một biểu dữ liệu hoặc một tiêu chuẩn được công nhận có phạm vi lỗi được xác định.

Các số liệu thống kê nên tính đến những thứ như tăng đột biến sử dụng thực tế và thiết lập lại trùng khớp. Bạn có thể cần chỉ định phân phối chung nếu chúng được liên kết: ví dụ, việc cắt điện có thể dẫn đến việc thiết lập lại đồng hồ và tăng điện, vì những thứ như lò sưởi, tủ lạnh và tủ đông sẽ hoạt động trở lại khi hết điện khôi phục.

Và sau đó, bạn tính toán phân phối sau để sử dụng năng lượng thực tế, đó là điều bạn quan tâm.

Ưu và nhược điểm

Phương pháp thứ hai có lợi thế là bắt nguồn từ lý thuyết đá rắn. Tuy nhiên, đó là khá nhiều công việc để thiết lập các bản phân phối; và trong hầu hết mọi trường hợp trong thế giới thực, không có giải pháp phân tích, vì vậy bạn phải tìm giải pháp số (ví dụ: sử dụng monte-carlo chuỗi markov). Các gói phần mềm như STAN của Andrew Gelman sẽ thực hiện phần việc đó cho bạn.

Trước khi bạn bắt đầu, biểu đồ

Dù bằng cách nào, hãy bắt đầu bằng cách lập biểu đồ dữ liệu thô của bạn. Mắt sẽ nhận các mẫu thông tin.

Loại bỏ các ngoại lệ là dễ dàng, bạn chỉ cần loại bỏ (hoặc bỏ qua) chúng. Phần khó là quyết định đâu là ngoại lệ và đâu là dữ liệu hợp lệ. Điều này đi xuống để xác định những gì có thể và có khả năng.

Một kiểm tra rõ ràng trong trường hợp của bạn là chống lại công suất tối đa mà hệ thống có thể tiêu thụ hoặc sản xuất. Nếu đồng bằng giữa hai lần đọc vượt quá điều đó, thì có gì đó không đúng ở đâu đó. Ví dụ: nếu hệ thống được đo không thể tiêu thụ nhiều hơn 200 kW, thì đồng hồ không thể tăng hơn 17 kWh trong khoảng thời gian 5 phút.

Lưu ý rằng việc sản xuất năng lượng tối đa có thể khác với mức tiêu thụ năng lượng tối đa. Có thể hệ thống của bạn có thể tiêu thụ tới 200 kW, nhưng không thể sản xuất hơn 50 kW. Điều đó có nghĩa là trong 5 phút, phạm vi hợp lệ có thể là +16,7 kWh đến -4,2 kWh.

Bạn có thể biết những điều khác về hệ thống của bạn, mà bạn có thể sử dụng để phát hiện các bài đọc không hợp lệ. Ví dụ, mặc dù mức tiêu thụ năng lượng của nó bị giới hạn bởi -50 đến +200 kW, có thể nó không thể thay đổi nhanh hơn 10 kW mỗi 5 phút. Hoặc, nếu năng lượng được sản xuất bởi pin mặt trời, thì việc sản xuất năng lượng vào ban đêm phải là sai. Chắc chắn có những điều bạn biết hệ thống của bạn không thể làm được.

Một lần nữa, tất cả đi xuống để xác định những gì là hợp lệ. Chẳng hạn, bạn nói cách đọc thứ ba trong trường hợp 2 là sai? Làm sao bạn biết điều đó? Nếu hệ thống có thể tạo ra 10,8 kWh trong khoảng thời gian 5 phút, thì tiêu thụ 62,3 kWh trong 5 phút tiếp theo, sau đó, trường hợp 2 có thể là tất cả các bài đọc chính xác. Bạn đã không nói bất cứ điều gì về hệ thống của bạn để nói rằng đây không phải là trường hợp.