Liệu hàm tự tương quan có mô tả hoàn toàn một quá trình ngẫu nhiên không?

Là một quá trình ngẫu nhiên được mô tả hoàn toàn bởi chức năng tự tương quan của nó?

Nếu không, những thuộc tính bổ sung sẽ là cần thiết?

autocorrelation

— Andreas
nguồn

Điều gì có nghĩa là một mô tả đầy đủ của một quá trình ngẫu nhiên? Về mặt toán học, một quá trình ngẫu nhiên là một tập hợp của các biến ngẫu nhiên, mỗi lần một trong một chỉ mục được đặt , trong đó thường là là toàn bộ dòng thực hoặc dòng thực dương và mô tả đầy đủ có nghĩa là với mỗi số nguyên và thời gian , chúng tôi biết các phân phối (khớp) của các ngẫu nhiên các biến , , $\{X(t) : t \in {\mathbb T}\}$ $t$ $\mathbb T$ $\mathbb T$ $n \geq 1$ $n$ $t_1, t_2, \ldots, t_n \in \mathbb T$ $n$ $X(t_1)$ $X(t_2)$ $\ldots, X(t_n)$ . Đây là một lượng thông tin khổng lồ : chúng ta cần biết CDF của cho mỗi lần , CDF chung (hai chiều) của và cho tất cả các lựa chọn về thời gian tức thời và , CDF (ba chiều) của , và , v.v., v.v. $X(t)$ $t$ $X(t_1)$ $X(t_2)$ $t_1$ $t_2$ $X(t_1)$ $X(t_2)$ $X(t_3)$

Vì vậy, tự nhiên mọi người đã tìm kiếm các mô tả đơn giản hơn và các mô hình hạn chế hơn. Một đơn giản hóa xảy ra khi quá trình là bất biến đối với sự thay đổi trong nguồn gốc thời gian. Điều này có nghĩa là

Tất cả các biến ngẫu nhiên trong quy trình đều có CDF giống hệt nhau: cho tất cả . $F_{X(t_1)}(x) = F_{X(t_2)}(x)$ $t_1, t_2$
Bất kỳ hai biến ngẫu nhiên nào được phân tách bằng một số lượng thời gian xác định đều có cùng CDF giống như bất kỳ cặp biến ngẫu nhiên nào khác được phân tách bằng cùng một lượng thời gian. Ví dụ: các biến ngẫu nhiên và được phân tách bằng giây, cũng như các biến ngẫu nhiên và , và do đó, $X(t_1)$ $X(t_1 + \tau)$ $\tau$ $X(t_2)$ $X(t_2 + \tau)$ $F_{X(t_1), X(t_1 + \tau)}(x,y) = F_{X(t_2), X(t_2 + \tau)}(x,y)$
Bất kỳ ba biến ngẫu nhiên , , cách nhau và đều có cùng CDF là , , cũng cách nhau và , $X(t_1)$ $X(t_1 + \tau_1)$ $X(t_1 + \tau_1 + \tau_2)$ $\tau_1$ $\tau_2$ $X(t_2)$ $X(t_2 + \tau_1)$ $X(t_2 + \tau_1 + \tau_2)$ $\tau_1$ $\tau_2$
và như vậy cho tất cả các CDF đa chiều. Xem, ví dụ, câu trả lời của Peter K. để biết chi tiết về trường hợp đa chiều.

Thực tế, các mô tả xác suất của quá trình ngẫu nhiên không phụ thuộc vào những gì chúng ta chọn để gọi gốc trên trục thời gian: chuyển tất cả các thời gian tức thời theo một số lượng cố định sang đưa ra mô tả xác suất tương tự của các biến ngẫu nhiên. Tài sản này được gọi là văn phòng phẩm có ý nghĩa nghiêm ngặt và một quy trình ngẫu nhiên thích tài sản này được gọi là quy trình ngẫu nhiên cố định nghiêm ngặt hoặc đơn giản hơn là quy trình ngẫu nhiên cố định. $t_1, t_2, \ldots, t_n$ $\tau$ $t_1 + \tau, t_2 + \tau, \ldots, t_n + \tau$

Lưu ý rằng bản thân văn phòng phẩm nghiêm ngặt không yêu cầu bất kỳ hình thức CDF cụ thể nào. Ví dụ, nó không nói rằng tất cả các biến là Gaussian.

Tính từ gợi ý một cách nghiêm túc rằng có thể định nghĩa một dạng văn phòng phẩm lỏng lẻo hơn. Nếu -order CDF chung của giống như khớp nối CDF của cho tất cả các lựa chọn của và , sau đó quy trình ngẫu nhiên được cho là văn phòng phẩm để đặt hàng và được gọi là một quá trình ngẫu nhiên văn phòng phẩm . Lưu ý rằng một quá trình ngẫu nhiên văn phòng phẩm cũng là văn phòng phẩm để đặt hàng cho mỗi dương $N^{\text{th}}$ $X(t_1), X(t_2), \ldots, X(t_N)$ $N^{\text{th}}$ $X(t_1+\tau), X(t_2+\tau), \ldots, X(t_N +\tau)$ $t_1,t_2, \ldots, t_N$ $\tau$ $N$ $N^{\text{th}}$ $N^{\text{th}}$ $n$ $n < N$ . (Điều này là do -order CDF chung là giới hạn của -order CDF là của cách tiếp cận đối số : một khái quát của ). Một quá trình ngẫu nhiên nghiêm tĩnh sau đó là một quá trình ngẫu nhiên mà là văn phòng phẩm cho tất cả các đơn đặt hàng . $n^{\text{th}}$ $N^{\text{th}}$ $N-n$ $\infty$ $F_X(x) = \lim_{y\to\infty}F_{X,Y}(x,y)$ $N$

Nếu một quá trình ngẫu nhiên đứng yên theo (ít nhất) thứ tự , thì tất cả các đều có cùng phân phối và do đó, giả sử trung bình tồn tại, là như nhau đối với tất cả . Tương tự, giống nhau cho tất cả và được gọi là sức mạnh của quá trình. Tất cả các quy trình vật lý đều có sức mạnh hữu hạn và do đó, thông thường giả sử rằng trong trường hợp đó, và đặc biệt trong tài liệu kỹ thuật cũ hơn, quy trình này được gọi là quy trình bậc hai . Sự lựa chọn tên là không may vì nó gây nhầm lẫn với thứ hai $1$ $X(t)$ $E[X(t)] = \mu$ $t$ $E[(X(t))^2]$ $t$ $E[(X(t))^2] < \infty$ văn phòng phẩm (xem câu trả lời này của tôi về số liệu thống kê.SE ), và vì vậy ở đây chúng tôi sẽ gọi một quá trình mà là hữu hạn cho tất cả (có hay không là một hằng số) như là một quá trình sức mạnh hữu hạn và tránh sự nhầm lẫn này. Nhưng lưu ý lại rằng $E[(X(t))^2]$ $t$ $E[(X(t))^2]$

một quá trình đứng yên thứ nhất không cần phải là một quá trình quyền lực hữu hạn.

Xem xét một quá trình ngẫu nhiên là đứng yên để đặt hàng . Bây giờ, vì phân phối chung của và giống như chức năng phân phối chung của và , và giá trị chỉ phụ thuộc vào . Những kỳ vọng này là hữu hạn cho một quy trình công suất hữu hạn và giá trị của chúng được gọi là hàm tự tương quan của quy trình: là một hàm của , thời gian tách các biến ngẫu nhiên và và không phụ thuộc vào $2$ $X(t_1)$ $X(t_1 + \tau)$ $X(t_2)$ $X(t_2 + \tau)$ $E[X(t_1)X(t_1 + \tau)] = E[X(t_2)X(t_2 + \tau)]$ $\tau$ $R_X(\tau) = E[X(t)X(t+\tau)]$ $\tau$ $X(t)$ $X(t+\tau)$ $t$ ở tất cả. Cũng lưu ý rằng và do đó, hàm tự tương quan là một hàm chẵn của đối số của nó.

E [X (t) X (t + τ)] = E [X (t + τ) X (t)] = E [X (t + τ) X (t + τ - τ)] = R_{X} (- τ),

$E[X(t)X(t+\tau)] = E[X(t+\tau)X(t)] = E[X(t+\tau)X(t + \tau - \tau)] = R_X(-\tau),$

Một quá trình ngẫu nhiên cố định bậc hai công suất hữu hạn có các thuộc tính

Nghĩa của nó là một hằng số $E[X(t)]$

Hàm tự tương quan là một hàm của , phân tách thời gian của các biến ngẫu nhiên và , và không phụ thuộc vào chút nào $R_X(\tau) = E[X(t)X(t+\tau)]$ $\tau$ $X(t)$ $X(t+\tau)$ $t$

Giả định về sự ổn định đơn giản hóa việc mô tả một quá trình ngẫu nhiên ở một mức độ nào đó, nhưng đối với các kỹ sư và nhà thống kê quan tâm đến việc xây dựng các mô hình từ dữ liệu thử nghiệm, ước tính tất cả các CDF đó là một nhiệm vụ không cần thiết, đặc biệt khi chỉ có một đoạn của một đường dẫn mẫu (hoặc thực hiện) trên đó các phép đo có thể được thực hiện. Hai phép đo tương đối dễ thực hiện (vì kỹ sư đã có sẵn các dụng cụ cần thiết trên bàn làm việc của anh ấy (hoặc các chương trình trong MATLAB / Python / Octave / C ++ trong thư viện phần mềm của anh ấy) là giá trị DC của và hàm tự tương quan $x(t)$ $\frac 1T\int_0^T x(t)\,\mathrm dt$ $x(t)$ $R_x(\tau) = \frac 1T\int_0^T x(t)x(t+\tau)\,\mathrm dt$ (hoặc biến đổi Fourier của nó, phổ công suất của ). Lấy các phép đo này làm ước tính về giá trị trung bình và hàm tự tương quan của quy trình công suất hữu hạn dẫn đến một mô hình rất hữu ích mà chúng ta sẽ thảo luận tiếp theo. $x(t)$

Một quá trình ngẫu nhiên có công suất hữu hạn được gọi là quá trình cố định rộng (WSS) (cũng là quá trình ngẫu nhiên đứng yên yếu , may mắn thay cũng có WSS khởi tạo tương tự) nếu nó có giá trị trung bình không đổi và hàm tự tương quan chỉ phụ thuộc vào chênh lệch thời gian (hoặc ). $R_X(t_1, t_2) = E[X(t_1)X(t_2)]$ $t_1 - t_2$ $t_2 - t_1$

Lưu ý rằng định nghĩa không nói gì về CDF của các biến ngẫu nhiên bao gồm quá trình; nó hoàn toàn là một ràng buộc đối với các khoảnh khắc thứ nhất và thứ hai của các biến ngẫu nhiên. Tất nhiên, một quy trình văn phòng phẩm thứ hai hữu hạn (hoặc -order văn phòng phẩm (đối với ) hoặc nghiêm ngặt) là một quy trình WSS, nhưng không cần phải đúng. $N^{\text{th}}$ $N>2$

Một quy trình WSS không cần phải đứng yên theo bất kỳ trật tự nào.

Ví dụ, hãy xem xét quá trình ngẫu nhiên trong đó có bốn giá trị có khả năng bằng nhau và . (Đừng sợ hãi: bốn đường dẫn mẫu có thể có của quá trình ngẫu nhiên này chỉ là bốn dạng sóng tín hiệu của tín hiệu QPSK). Lưu ý rằng mỗi là một biến ngẫu nhiên rời rạc , nói chung, có bốn giá trị có khả năng bằng nhau và , dễ dàng nhận thấy rằng nói chung và $\{X(t)\colon X(t)= \cos (t + \Theta), -\infty < t < \infty\}$ $\Theta$ $0, \pi/2, \pi$ $3\pi/2$ $X(t)$ $\cos(t), \cos(t+\pi/2)=-\sin(t), \cos(t+\pi) = -\cos(t)$ $\cos(t+3\pi/2)=\sin(t)$ $X(t)$ $X(s)$ có các bản phân phối khác nhau, và do đó, quá trình này thậm chí không phải là văn phòng phẩm đầu tiên. Mặt khác, với mọi trong khi Tóm lại, quá trình này có ý nghĩa bằng không và chức năng tự tương quan của nó chỉ phụ thuộc vào chênh lệch thời gian , và do đó quá trình này có ý nghĩa đứng yên. Nhưng nó không phải là văn phòng phẩm đầu tiên và vì vậy không thể đứng yên cho các đơn đặt hàng cao hơn.

E [X (t)] = \frac{1}{4} \cos (t) + \frac{1}{4} (- \sin (t)) + \frac{1}{4} (- \cos (t)) + \frac{1}{4} \sin (t) = 0

$E[X(t)] = \frac 14\cos(t)+ \frac 14(-\sin(t)) + \frac 14(-\cos(t))+\frac 14 \sin(t) = 0$

t

$t$

\begin{aligned} E [X (t) X (s)] & = \frac{1}{4} [\cos (t) \cos (s) + (- \cos (t)) (- \cos (s)) + \sin (t) \sin (s) + (- \sin (t)) (- \sin (s))] \\ = \frac{1}{2} [\cos (t) \cos (s) + \sin (t) \sin (s)] \\ = \frac{1}{2} \cos (t - s) . \end{aligned}

$\begin{align} E[X(t)X(s)]&= \left.\left.\frac 14\right[\cos(t)\cos(s) + (-\cos(t))(-\cos(s)) + \sin(t)\sin(s) + (-\sin(t))(-\sin(s))\right]\\ &= \left.\left.\frac 12\right[\cos(t)\cos(s) + \sin(t)\sin(s)\right]\\ &= \frac 12 \cos(t-s). \end{align}$

t - s

$t-s$

Ngay cả đối với các quá trình WSS đó là thứ hai theo đơn đặt hàng văn phòng phẩm (hoặc nghiêm stationary) các quá trình ngẫu nhiên, ít có thể nói về các hình thức cụ thể của các bản phân phối của các biến ngẫu nhiên. Nói ngắn gọn,

Một quy trình WSS không nhất thiết phải đứng yên (theo bất kỳ thứ tự nào) và chức năng trung bình và tự tương quan của quy trình WSS là không đủ để đưa ra một mô tả thống kê đầy đủ về quy trình.

Cuối cùng, giả sử rằng một quy trình ngẫu nhiên được coi là một quy trình Gaussian ("chứng minh" điều này với bất kỳ mức độ tin cậy hợp lý nào không phải là một nhiệm vụ tầm thường). Điều này có nghĩa là với mỗi , là biến ngẫu nhiên Gaussian và cho tất cả các số nguyên dương và các lựa chọn của thời gian , , , biến ngẫu nhiên , , là các biến ngẫu nhiên Gaussian chung . Bây giờ một hàm mật độ Gaussian hoàn toàn $t$ $X(t)$ $n \geq 2$ $n$ $t_1$ $t_2$ $\ldots, t_n$ $N$ $X(t_1)$ $X(t_2)$ $\ldots, X(t_n)$ được xác định bởi phương tiện, phương sai và hiệp phương sai của các biến ngẫu nhiên và trong trường hợp này, biết hàm trung bình (không cần phải là hằng số theo yêu cầu đối với nghĩa rộng -stationarity) và chức năng tự tương quan cho tất cả (không cần chỉ phụ thuộc vào như yêu cầu đối với văn phòng phẩm rộng) là đủ để xác định số liệu thống kê của quá trình hoàn toàn. $\mu_X(t) = E[X(t)]$ $R_X(t_1, t_2) = E[X(t_1)X(t_2)]$ $t_1, t_2$ $t_1-t_2$

Nếu quy trình Gaussian là một quy trình WSS, thì đó cũng là một quy trình Gaussian cố định . May mắn cho các kỹ sư và bộ xử lý tín hiệu, nhiều quy trình nhiễu vật lý có thể được mô hình hóa tốt như các quy trình Gaussian của WSS (và do đó là các quy trình đứng yên), do đó việc quan sát thử nghiệm chức năng tự tương quan dễ dàng cung cấp tất cả các phân phối chung. Hơn nữa, vì các quá trình Gaussian giữ lại ký tự Gaussian của chúng khi chúng đi qua các hệ thống tuyến tính và chức năng tự tương quan đầu ra có liên quan đến chức năng tự tương quan đầu vào là

R_{y} = h * \tilde{h} * R_{X}

$R_y = h*\tilde{h}*R_X$ để có thể dễ dàng xác định số liệu thống kê đầu ra, quy trình WSS nói chung và quy trình Gaussian của WSS nói riêng có tầm quan trọng lớn trong các ứng dụng kỹ thuật.

— Dilip Sarwate
nguồn

Bạn có thể, xin vui lòng, nhận xét về "Tiếng ồn trắng" theo nghĩa đó? Theo định nghĩa, Autocorrelation tại là phương sai của các biến ngẫu nhiên. Điều đó có nghĩa là AWGN (Tiếng ồn Gaussian trắng phụ gia) có phương sai vô hạn? Tôi hỏi nó vì thông thường mọi người viết , có sai không? Có nên viết không? Cảm ơn.

τ = 0

$\tau = 0$

n (t) N (0, N_{0} / 2)

$n(t) ~ N(0, {N}_{0} / 2)$

n (t) N (0, δ (0) N_{0} / 2)

$n(t) ~ N(0, \delta(0) {N}_{0} / 2)$

— Royi

@Drazick Xin hỏi một câu hỏi riêng.

— Dilip Sarwate

Đây là một khóa học nhỏ tuyệt vời trong định nghĩa của các quá trình đứng yên. Tôi chưa bao giờ thấy bất cứ điều gì giống như vậy - được trình bày một cách có phương pháp và rõ ràng. Wiki cộng đồng?

— abalter

@Dilip Sarwate Xin lỗi vì sự thiếu hiểu biết của tôi. Trong ví dụ. Tại sao E [X (t)] = 0 cho tất cả t? Bạn có cho rằng sự linh hoạt? Làm thế nào bạn lấy được hàm mật độ xác suất của X (t) từ hàm mật độ xác suất của theta để tính giá trị mong đợi? E [X (t) X (s)] = E [cos (t + theta) * cos (s + theta)] phải không? Những bước bạn đã thực hiện để đơn giản hóa biểu thức này và nhận được những gì bạn đã viết? Cảm ơn

— VMMF

@VMMF KHÔNG có tính linh hoạt được sử dụng. là biến ngẫu nhiên rời rạc vì là biến ngẫu nhiên rời rạc và nó nhận các giá trị và với xác suất bằng nhau . Ergo, . nhận các giá trị , , và với xác suất bằng nhau . Vì thế,

X (t) = \cos (t + Θ)

$X(t)=\cos(t+\Theta)$

Θ

$\Theta$

\pm \cos (t)

$\pm\cos(t)$

\pm \sin (t)

$\pm\sin(t)$

\frac{1}{4}

$\frac 14$

E [X (t)] = 0

$E[X(t)]=0$

X (t) X (s)

$X(t)X(s)$

\cos (t) \cos (s)

$\cos(t)\cos(s)$

(- \cos (t)) (- \cos (s)) = \cos (t) \cos (s)

$(-\cos(t))(-\cos(s))=\cos(t)\cos(s)$

\sin (t) \sin (s)

$\sin(t)\sin(s)$

(- \sin (t)) (- \sin (s)) = \sin (t) \sin (s)

$(-\sin(t))(-\sin(s))=\sin(t)\sin(s)$

\frac{1}{4}

$\frac 14$

E [X (t) (X (s)] = \frac{1}{2} (\cos (t) \cos (s) + \sin (t) \sin (s)) = \frac{1}{2} \cos (t - s)

$E[X(t)(X(s)]=\frac 12\big(\cos(t)\cos(s)+\sin(t)\sin(s)\big) = \frac 12\cos(t-s)$ . Do đó,

— Dilip Sarwate