Ước tính khả năng tối đa trong sự hiện diện của nhiễu màu

Tôi đang thử kiểm tra nhận dạng hệ thống khi có nhiễu đo (1) Nhiễu Gaussian trắng (2) Nhiễu màu - hồng, tím. Khi chúng tôi ước tính các tham số, chúng tôi làm như vậy với sự có mặt của iid, không có nghĩa là nhiễu không tương quan.

Q1: Tôi muốn biết liệu nhiễu màu có tương quan hay không. Tôi nghĩ rằng họ có phân phối khác nhau nhưng tôi không thể tìm thấy bất kỳ thông tin nào nếu các mẫu sẽ tương quan hay không.

Câu 2: Trong ước tính, chúng tôi giả sử rằng nhiễu là nhiễu gaussian trắng phụ gia, là iid không tương quan. Điều gì xảy ra khi nhiễu không phải là gaussian thì làm thế nào để chúng ta ước tính theta? Ví dụ: $x = s(\theta) + Colored noise$ nơi chúng tôi đang cố gắng ước tính $\theta$ . Hiệu suất tức là, MSE có thay đổi theo các mức độ nhiễu màu và không màu khác nhau không?

noise estimation maximum-likelihood-estimation

— Rịa George
nguồn

"màu" tiếng ồn là về quang phổ điện, không phải là phân phối hoặc pdf trên thực tế, một pdf có điều kiện không có cái gì để làm với quang phổ, nhưng không phải là vô điều kiện pdf

— robert bristow-johnson

@ robertbristow-johnson: Từ câu trả lời dưới đây, pdf có luôn được coi là Gaussian cho nhiễu màu không?

— Rịa George

không phải luôn luôn, nhưng thường một ví dụ đơn giản là hoà sắc pdf tam giác vượt qua,

y [n]

$y[n]$ hình thành từ tiếng ồn pdf "trắng" thống nhất

x [n]

$x[n]$ (những gì xuất phát từ một rand()chức năng tốt ) như vậy:

y [n] = x [n] - x [n - 1]

$y[n] = x[n] - x[n-1]$ đó là nhiễu màu (ít phổ ở tần số thấp), nhưng đó không phải là pdf gaussian, đó là pdf hình tam giác

— robert bristow-johnson

Các mẫu của nhiễu màu (được lấy ở các thời điểm khác nhau) thường là các biến ngẫu nhiên tương quan vì hàm tự tương quan của quá trình nhiễu không phải là hàm delta như trong trường hợp nhiễu trắng. Do đó, nếu chúng ta giả sử một quá trình có nghĩa là không (nhiễu thường được coi là không phụ thuộc vào màu sắc của nó), thì hiệp phương sai của hai tín hiệu cách nhau theo thời gian $\tau$ giây là $R(\tau)$ Ở đâu $R(t) = \mathcal F^{-1}(S(f)$ là hàm tự tương quan của quá trình (biến đổi Fourier ngược của mật độ phổ công suất). Lưu ý rằng có thể cho $R(t)$ bằng không đối với một số giá trị của $t$ (ví dụ $R(t) = \operatorname{sinc}(t)$ là một hàm tự tương quan hợp lệ), nhưng nó không thể bằng 0 đối với tất cả các giá trị khác $t$ .

Theo như hàm mật độ của bất kỳ mẫu nào, nếu quy trình là Gaussian, mẫu là Gaussian ngay cả khi quy trình đã được lọc bằng bộ lọc tuyến tính trước khi lấy mẫu. Nhưng nếu quy trình không phải là Gaussian (nghĩa là LaPlacian), thì trong khi mỗi mẫu sẽ là LaPlacian, thì nói chung không thể nói về các mẫu của quy trình sau khi lọc bất kỳ loại nào. Nói cách khác, Gaussianity sống sót qua bộ lọc tuyến tính, LaPlacism thường không.

Vậy, làm thế nào để ước lượng khả năng tối đa hoạt động khi các mẫu có nhiễu tương quan? Hãy xem xét trường hợp khi chúng ta muốn ước tính giá trị trung bình chưa biết của một $\mathcal N(\mu, 1)$ biến ngẫu nhiên, và chúng tôi có hai quan sát $x$ và $y$ . Trong trường hợp tiêu chuẩn của các quan sát độc lập, hàm khả năng là

L (μ) = \frac{1}{2 π} \exp (- \frac{1}{2} [(x - μ)^{2} + (y - μ)^{2}]) .

$L(\mu) = \frac{1}{2\pi}\exp\left(-\frac{1}{2}\left[(x-\mu)^2+(y-\mu)^2\right]\right).$ Công cụ ước tính khả năng tối đa cho

μ

$\mu$ là số

\hat{μ}

$\hat{\mu}$ tối đa hóa

L (μ)

$L(\mu)$ , mà làm việc là số

\hat{μ}

$\hat{\mu}$ mà giảm thiểu

(x - μ)^{2} + (y - μ)^{2}

$(x-\mu)^2+(y-\mu)^2$ . Đây là một bậc hai trong

μ

$\mu$ và ước tính khả năng tối đa hóa ra là

\hat{μ} = \frac{x + y}{2}

$\hat{\mu}=\frac{x+y}{2}$ . Khi các quan sát tương quan với hệ số tương quan

ρ

$\rho$ , sau đó

L (μ) = \frac{1}{2 π \sqrt{1 - ρ^{2}}} \exp (- \frac{1}{2 \sqrt{1 - ρ^{2}}} [(x - μ)^{2} - 2 ρ (x - μ) (y - μ) + (y - μ)^{2}]) .

$L(\mu) = \frac{1}{2\pi\sqrt{1-\rho^2}} \exp\left(-\frac{1}{2\sqrt{1-\rho^2}} \left[(x-\mu)^2-2\rho(x-\mu)(y-\mu)+(y-\mu)^2\right]\right).$ Một lần nữa chúng ta cần tìm

\hat{μ}

$\hat{\mu}$ Ở đâu

(x - μ)^{2} - 2 ρ (x - μ) (y - μ) + (y - μ)^{2}

$(x-\mu)^2-2\rho(x-\mu)(y-\mu)+(y-\mu)^2$ có tối thiểu Chúng tôi vẫn có một bậc hai trong

μ

$\mu$ nhưng bây giờ chúng tôi nhận được các điều khoản như

x y

$xy$ trong các hệ số. Gì

\hat{μ}

$\hat{\mu}$ làm việc được để lại cho bạn để làm việc ra.

Và nếu chúng ta có $n$ quan sát ở đâu $n > 2$ ? Tất cả những điều trên vẫn được áp dụng. Đối với nhiễu Gaussian phân phối độc lập trong các mẫu, giá trị trung bình của mẫu $n^{-1}\sum_i x_i$ là ước tính khả năng tối đa của $\mu$ nhưng trong trường hợp các biến ngẫu nhiên Gaussian tương quan, chúng ta gặp phải các vấn đề tối thiểu hóa rất lộn xộn bởi vì phương trình bậc hai mà chúng ta đang cố gắng giảm thiểu phụ thuộc vào nghịch đảo của ma trận hiệp phương sai và kết quả là hàm phi tuyến của dữ liệu thay vì đơn giản dễ dàng nhớ kết quả như ý nghĩa mẫu.

Nếu tiếng ồn không phải là Gaussian thì sao? Các nguyên tắc tương tự được áp dụng - thiết lập hàm khả năng và tìm nơi nó đạt được giá trị tối đa - nhưng các tính toán khá khác nhau, tất cả phụ thuộc vào những gì bạn giả định hoặc biết là mật độ chung của các quan sát.

— Dilip Sarwate
nguồn