Độ tin cậy giữa các sự kiện trong một chuỗi thời gian không chắc chắn về thời gian sự kiện

Tôi có nhiều lập trình viên độc lập đang cố gắng xác định các sự kiện trong một chuỗi thời gian - trong trường hợp này, xem video về cuộc trò chuyện trực tiếp và tìm kiếm các hành vi phi ngôn ngữ cụ thể (ví dụ: gật đầu) và mã hóa thời gian và thể loại của từng sự kiện biến cố. Dữ liệu này có thể được coi là một chuỗi thời gian rời rạc với tốc độ lấy mẫu cao (30 khung hình / giây) hoặc là chuỗi thời gian liên tục, tùy theo cách nào dễ dàng hơn để làm việc.

Tôi muốn tính toán một số thước đo độ tin cậy giữa các nhà nghiên cứu, nhưng tôi hy vọng sẽ có một số điều không chắc chắn khi các sự kiện xảy ra; đó là, tôi hy vọng rằng một lập trình viên có thể, ví dụ, mã mà một phong trào cụ thể bắt đầu muộn hơn một phần tư so với các lập trình viên khác nghĩ rằng nó đã bắt đầu. Đây là những sự kiện hiếm, nếu điều đó giúp; thường ít nhất vài giây (hàng trăm khung hình video) giữa các sự kiện.

Có cách nào tốt để đánh giá độ tin cậy liên Rater rằng vẻ tại cả hai loại thỏa thuận và bất đồng: (1) làm người xếp hạng nhất trí về những gì sự kiện xảy ra (nếu có), và (2) Họ đồng ý trên khi nó xảy ra? Thứ hai là quan trọng đối với tôi bởi vì tôi quan tâm đến việc xem xét thời gian của những sự kiện này liên quan đến những điều khác xảy ra trong cuộc trò chuyện, giống như những gì mọi người đang nói.

Thực hành tiêu chuẩn trong lĩnh vực của tôi dường như là chia mọi thứ thành các lát thời gian, ví dụ 1/4 giây hoặc lâu hơn, tổng hợp các sự kiện mà mỗi lập trình viên báo cáo mỗi lát cắt thời gian, sau đó tính toán kappa của Cohen hoặc một số biện pháp tương tự. Nhưng sự lựa chọn thời lượng lát là đặc biệt và tôi không có ý tưởng tốt về sự không chắc chắn trong thời gian của các sự kiện.

Tôi nghĩ tốt nhất cho đến nay là tôi có thể tính toán một số loại đường cong độ tin cậy; một cái gì đó như kappa là một hàm của kích thước của cửa sổ trong đó tôi coi hai sự kiện là được mã hóa cùng một lúc. Tôi không thực sự chắc chắn sẽ đi đâu từ đó, mặc dù ...

Đây là một vài cách để suy nghĩ.

1

Trả lời) , "nhướng mày"]), sau đó căn chỉnh các chuỗi bằng thuật toán có ý nghĩa với bạn ( http://en.wikipedia.org/wiki/Sequence_alocation ). Sau đó, bạn có thể tính toán độ tin cậy liên mã hóa cho toàn bộ chuỗi.

B) Sau đó, một lần nữa bằng cách sử dụng các chuỗi liên kết, bạn có thể so sánh khi họ nói rằng một sự kiện đã xảy ra, cho rằng cả hai đều quan sát sự kiện.

2) Cách khác, bạn có thể mô hình hóa nó như Mô hình Markov ẩn và sử dụng một cái gì đó giống như thuật toán Baumn-Welch để xác định xác suất, trong một số sự kiện thực tế, mỗi bộ mã hóa thực sự mã hóa dữ liệu một cách chính xác. http://en.wikipedia.org/wiki/Baum-Welch_alacticm

Thay vì cắt dữ liệu thành các phần tùy ý, bạn có thể xem xét sự khác biệt về thời gian thực tế. Coder 1 báo cáo thời gian và hành động:

049 D
113 C
513 C
724 G

Một cách đơn giản để xem lập trình viên nào đáng tin cậy nhất theo các lập trình viên khác là cho anh ta một số điểm như vậy:

Add a point for each other coder that reported a D between (049-025) and (049+025)
Add a point for each other coder that reported a C between (113-025) and (113+025)
Add a point for each other coder that reported a C between (513-025) and (513+025)
Add a point for each other coder that reported a C between (724-025) and (724+025)
Subtract a point for each reported action.

Nếu sự gần gũi là quan trọng đối với bạn, hãy xem xét các lựa chọn thay thế như sau:

Add 25/(Time_Thiscoder-Time_Othercoder)^2 points for each other coder that reported a matching observation.

Với tất cả các thông tin vấn đề có sẵn, không khó để thực hiện ý tưởng này một cách thực tế.