Xác định ngưỡng quy tắc quyết định nhị phân tối ưu từ các quan sát với các linh mục chưa biết?

8

Chỉ đưa ra các quan sát về tín hiệu nhị phân bị nhiễu bởi nhiễu Gaussian với thông tin không xác định trước, làm cách nào tôi có thể ước tính ngưỡng quyết định tối ưu?

(Không, đây không phải là một câu hỏi bài tập về nhà)

Cụ thể, tôi nghĩ về mô hình sau: $Y$ là biến ngẫu nhiên hai trạng thái $(H_0,H_1)$ :

$P(Y|H_0) \sim \mathcal N(\mu_0,\sigma)$
$P(Y|H_1) \sim \mathcal N(\mu_1,\sigma),\quad \mu_0 < \mu_1$
$P(H_0) = \pi_0$
$P(H_1) = 1-\pi_0$

với các tham số chưa biết : $\mu_0, \mu_1, \sigma, \pi_0$ .

Ngưỡng khả năng đăng nhập tối đa của Posteriori có thể được tính từ các tham số đó nếu tôi biết chúng. Ban đầu tôi đã suy nghĩ về cách ước tính các tham số trước để đến ngưỡng . Nhưng tôi nghĩ rằng có thể mạnh mẽ hơn để ước tính trực tiếp . $Y_t$ $Y_t$

Suy nghĩ: Bình thường hoá các quan sát (trừ mẫu trung bình và chia cho độ lệch chuẩn) làm giảm không gian tham số vào 2 khía cạnh: và $\pi_0$ . $\frac \sigma{\mu_1-\mu_0}$

— Đánh dấu
nguồn

Vấn đề này sẽ dễ dàng hơn rất nhiều nếu bạn có thể giả sử rằng Pi0 là 0,5. :-)

— Jim Clay

Có thể câu hỏi này có phần nào đó liên quan đến những điều này: stackoverflow.com/questions/1504378/ trên hoặc stackoverflow.com/questions/5451089/ trên

— hotpaw2

Là một chuỗi đào tạo các quan sát có sẵn để ước tính các phương tiện, phương sai, vv? Hoặc bạn chỉ đơn giản được cung cấp một chuỗi dữ liệu trong đó một số giá trị từ

và một số từ

nhưng bạn không biết đó là giá trị nào?

H_{0}

$H_0$

H_{1}

$H_1$

— Dilip Sarwate

6

Trực giác của tôi là rất khó để đưa ra ngưỡng quyết định đúng đắn mà bạn mong muốn tìm thấy:

τ = \frac{1}{2} (μ_{0} + μ_{1}) - \frac{σ^{2}}{‖ μ_{0} - μ_{1} ‖^{2}} \log \frac{π}{1 - π} (μ_{0} - μ_{1})

$\tau = \frac{1}{2}\left(\mu_0 + \mu_1\right) - \frac{\sigma^2}{\lVert\mu_0 - \mu_1\rVert^2} \log \frac{\pi}{1 - \pi}\left(\mu_0 - \mu_1\right)$

$\pi \mu_0 + (1 - \pi) \mu_1$

Tôi sẽ tiếp cận vấn đề theo cách này:

$\sigma$

$\pi$ $\sigma$ $\mu$ $\sigma$
- $\sigma$
- $\mu$
$\sigma$
- Chạy thuật toán EM (với hiệp phương sai gộp) trên dữ liệu huấn luyện của bạn. Sử dụng các biến "thành viên lớp mềm" được suy luận để thực hiện các quan sát của bạn.
- $\tau$

— pichenettes
nguồn

2

Để tóm tắt, bạn có hai bản phân phối với các tham số chưa biết và phép đo có thể bắt nguồn từ quá trình ngẫu nhiên. Điều này thường được gọi là một vấn đề liên kết dữ liệu và nó rất phổ biến, và được nghiên cứu rộng rãi, trong cộng đồng theo dõi. Bạn có thể cân nhắc sử dụng thuật toán Bộ lọc Hiệp hội Dữ liệu Xác suất (PDAF) hoặc theo dõi Đa giả thuyết (MHT). Điều này sẽ cung cấp cho bạn các ước tính về giá trị trung bình và phương sai cho mỗi phân phối.
Ngoài ra, do nhiễu của bạn là màu trắng và Gaussian, ML, MAP và MMSE đều tương đương và có thể được tìm thấy bằng cách giảm thiểu lỗi bình phương trung bình (hàm chi phí), như được mô tả một cách hiệu quả bởi phản hồi trước đó. Tôi sẽ sử dụng một phương pháp lập trình động để tìm mức tối thiểu của hàm chi phí. Điều này sẽ ít phức tạp hơn (tính toán) so với các phương pháp phân cụm / mô tả trước đây. Thêm một nhận xét: PDAF là đệ quy. Với mô hình tín hiệu đơn giản, nó sẽ hoạt động rất hiệu quả và với những gì tôi mong đợi là một phần của độ phức tạp tính toán của thuật toán EM. Chúc may mắn, -B

— Brant Jameson
nguồn

1

Có một thuật toán từ giữa những năm 1980 của Kittler và Illingworth được gọi là "Ngưỡng lỗi tối thiểu" giải quyết vấn đề này cho các bản phân phối Gaussian. Gần đây Mike Titterington (Đại học Glasgow) và JH Xue (hiện tại UCL) đã đưa điều này vào khung thống kê chính thức hơn, xem các ấn phẩm tạp chí chung của họ.

— hữu ích
nguồn