Tiếp cận phản ứng tổng hợp dữ liệu đa cảm biến

7

Vấn đề

Tôi đang cố gắng ước tính tư thế 3D của một người được quan sát bằng một camera duy nhất và 5 IMU bị mòn (tứ chi và lưng trên). Các khung máy ảnh được chuyển đổi thành các vectơ đặc trưng dựa trên hình dạng và mỗi IMU cung cấp các biểu diễn bậc bốn 4D theo hướng của chúng.

Tôi đã phục hồi tư thế 3D bằng cách sử dụng từng phương thức bằng cách tìm hiểu ánh xạ từ không gian tính năng đầu vào sang không gian tư thế đầu ra. Bây giờ tôi muốn có được kết quả tốt hơn bằng cách kết hợp cả hai phương thức theo một cách nào đó thông qua phản ứng tổng hợp cảm biến.

Tôi đã thử nối các vectơ đặc trưng của từng phương thức và cũng sử dụng trung bình trọng số của các kết quả đầu ra của chúng. Đây là những cách tiếp cận rất đơn giản và trung bình chỉ mang lại những cải thiện rất nhỏ.

Câu hỏi

Những cách tiếp cận nào khác tôi có thể thử kết hợp hai nguồn dữ liệu không chính xác này?

Có bất kỳ tiền xử lý trên các tính năng nên được thực hiện?

Lưu ý: Sở thích của tôi là tiếp tục sử dụng phương pháp học tập nếu có thể. (tức là tôi không muốn mô hình hóa rõ ràng vật lý / động học / vv)

sensor

— Josh
nguồn

3

Bộ lọc Kalman thường được sử dụng để hợp nhất dữ liệu; bạn đang ở trong rất nhiều công việc, mặc dù! Mô hình hóa hệ thống sẽ tiết kiệm rất nhiều thời gian.

Chúng tôi đã sử dụng bộ lọc Kalman nơi tôi từng làm việc cho những người theo dõi bằng hình ảnh mảng cảm biến hồng ngoại. Khoảng hai năm làm việc đã đi vào dự án.

— Leon Heller
nguồn

Tôi đã hy vọng tránh sử dụng bộ lọc Kalman. Tôi đã sử dụng nó trong quá khứ cho một số ứng dụng theo dõi cơ bản. Xây dựng một mô hình chuyển đổi trạng thái cho tư thế của con người sẽ dẫn đến một vấn đề rất khó khăn do sự phức tạp của động học của con người. Thay vào đó, tôi đã suy nghĩ dọc theo các dòng chiếu các tính năng vào một không gian meta chung và sau đó cố gắng tích hợp chúng bằng cách nào đó; hoặc thậm chí đơn giản hơn, sử dụng cách tiếp cận lân cận gần nhất để tìm các tư thế gần nhất với cả hai loại cảm biến và nội suy hoặc tìm hiểu ánh xạ bằng cách sử dụng bộ ví dụ rút gọn (phổ biến) này. Còn ý tưởng nào khác không?

— Josh

1

Chỉ là một số ý tưởng, không chắc chúng hữu ích như thế nào:

Nếu bạn muốn sử dụng phương pháp học máy, thử thách là tìm ra tiêu chí phù hợp.

Dễ dàng nhất để làm việc với, là dữ liệu thực tế, nhưng tôi cho rằng bạn không có điều đó.

Một cách chung khác cho học máy là sử dụng một hình thức tiêu chí thông suốt. Một cách tôi có thể nghĩ đến là dự đoán tất cả các tham số đo (tại một thời điểm nhất định) từ một tập hợp nhỏ hơn (chiều thấp hơn) của các biến. Cả hai phép biến đổi từ đầu vào sang biến chiều thấp (hàm ma trận hoặc hàm tham số) và các giá trị cho tập biến nhỏ hơn có thể được học bằng, ví dụ, một phương pháp tối ưu phi tuyến tính chung. Bạn chỉ phải xác định tiêu chí.

Nếu nó hoạt động, thì ít nhất bạn có một số phản ứng tổng hợp cảm biến hoạt động. Tuy nhiên, bạn phải thực hiện chuyển đổi từ các mẫu chiều thấp hơn đã học sang các biến đầu ra mong muốn.

Thay vì, hoặc kết hợp với, sử dụng ít biến hơn, bạn cũng có thể thực thi smoothnes theo thời gian của tập hợp các biến đã học. Có thể đưa điều này vào phương pháp học tập ở trên.

Nếu bạn muốn các biến đã học có ý nghĩa, bạn có thể đưa hình phạt vào tiêu chí để buộc chúng giống với các mẫu đầu vào.

Về các phương pháp học tập: Cách dễ nhất để bắt đầu là xác định một tiêu chí và tối ưu hóa bằng cách sử dụng trình tối ưu hóa phi tuyến chuẩn (ví dụ: gói matlab hoặc gói scthon của python)

— Ông WHITE
nguồn