Làm thế nào để phân phối các thuật ngữ lỗi ảnh hưởng đến phân phối của phản ứng?

14

Vì vậy, khi tôi giả sử rằng các thuật ngữ lỗi thường được phân phối trong hồi quy tuyến tính, điều đó có nghĩa gì với biến trả lời, ? $y$

regression distributions

— MarkDollar
nguồn

7

Có lẽ tôi tắt nhưng tôi nghĩ chúng ta nên tự hỏi về , đó là cách tôi đọc OP. Trong trường hợp đơn giản nhất của hồi quy tuyến tính nếu mô hình của bạn là thì thành phần ngẫu nhiên duy nhất trong mô hình của bạn là thuật ngữ lỗi. Do đó, nó xác định phân phối lấy mẫu của . Nếu thì . Tuy nhiên, những gì @Aniko nói chắc chắn đúng với (nhỉnh hơn ). Vì vậy, khi nó đứng câu hỏi là hơi mơ hồ. $f(y|\beta, X)$ $y=X\beta + \epsilon$ $y$ $\epsilon\sim N(0, \sigma^2I)$ $y|X, \beta\sim N(X\beta, \sigma^2I)$ $f(y)$ $X, \beta$

— JMS
nguồn

Tôi thích tất cả các ý kiến! Và tất cả họ có vẻ đúng. Nhưng tôi chỉ tìm kiếm câu trả lời dễ nhất :) Điều gì xảy ra khi bạn cho rằng thuật ngữ sai được phân phối bình thường. Rằng điều này xảy ra rất thường xuyên trong thực tế trở nên rõ ràng từ các câu trả lời khác! Cảm ơn rất nhiều!

— MarkDollar

17

Câu trả lời ngắn gọn là bạn không thể kết luận bất cứ điều gì về phân phối của , bởi vì nó phụ thuộc vào sự phân phối của và sức mạnh và hình dạng của mối quan hệ. Chính thức hơn, sẽ có một phân phối "hỗn hợp quy tắc", trong thực tế có thể là khá nhiều thứ. $y$ $x$ $y$

Dưới đây là hai ví dụ cực đoan để minh họa điều này:

Giả sử chỉ có hai giá trị có thể là 0 an 1 và $x$ . Sau đó, sẽ có phân phối lưỡng kim mạnh với các va chạm ở 0 và 10. $y = 10x + N(0,1)$ $y$
Bây giờ giả sử cùng một mối quan hệ, nhưng hãy để được phân phối đồng đều trên khoảng 0-1 với nhiều giá trị. Sau đó, sẽ được phân phối gần như thống nhất trong khoảng 0-10 (với một số đuôi nửa bình thường ở các cạnh). $x$ $y$

Trong thực tế, vì mọi phân phối có thể được xấp xỉ tùy ý tốt với hỗn hợp các quy tắc, bạn thực sự có thể nhận được bất kỳ phân phối nào cho . $y$

— Aniko
nguồn

8

+1 Re tuyên bố cuối cùng: Tôi đã từng phạm sai lầm khi nghĩ như vậy. Về mặt toán học, bạn đã đúng nhưng trong thực tế, gần như không thể ước tính một sự tăng đột biến không phân biệt với các quy tắc (như phân phối hình chữ J hoặc chữ U): các quy tắc chỉ quá phẳng ở các đỉnh của chúng để thu được mật độ trong các xung. Bạn cần cách quá nhiều thành phần. Định mức là tốt cho xấp xỉ các bản phân phối có pdf rất mượt mà.

— whuber

1

@whuber Đồng ý. Tôi sẽ không đề xuất sử dụng xấp xỉ hỗn hợp thông thường cho bất kỳ phân phối nào trong thực tế, tôi chỉ cố gắng đưa ra một ví dụ cực đoan.

— Aniko

5

Chúng tôi phát minh ra thuật ngữ lỗi bằng cách áp đặt một mô hình hư cấu trên dữ liệu thực; phân phối của thuật ngữ lỗi không ảnh hưởng đến phân phối của phản ứng.

Chúng ta thường cho rằng lỗi được phân phối bình thường và do đó cố gắng xây dựng mô hình sao cho phần dư ước tính của chúng ta được phân phối bình thường. Điều này có thể khó khăn cho một số phân phối của . Trong những trường hợp này, tôi cho rằng bạn có thể nói rằng việc phân phối phản hồi ảnh hưởng đến thuật ngữ lỗi. $y$

— Thomas Levine
nguồn

2

"Chúng tôi thường cố gắng để xây dựng các mô hình như vậy mà hạn lỗi của chúng tôi thường được phân phối" - để được chính xác, tôi nghĩ rằng bạn đang đề cập đến dư

. Đây là những ước tính của các điều khoản lỗi trong cùng một cách mà

là một ước tính của

. Chúng tôi muốn phần dư trông bình thường vì đó là những gì chúng tôi giả định về các điều khoản lỗi bắt đầu. Chúng tôi "phát minh" thuật ngữ lỗi bằng cách chỉ định một mô hình, không phù hợp với nó.

y - X \hat{β}

$y-X\hat\beta$

X \hat{β}

$X\hat\beta$

E (y) = X β

$\mathbb{E}(y)=X\beta$

— JMS

Tôi đồng ý với độ chính xác của bạn, JMS. +1 và tôi sẽ điều chỉnh câu trả lời của mình.

— Thomas Levine

2

Nếu bạn viết phản hồi dưới dạng Trong đó là "mô hình" (dự đoán cho ) và là "lỗi", thì điều này có thể được sắp xếp lại để chỉ ra . Vì vậy, việc chỉ định phân phối cho các lỗi cũng giống như chỉ ra các cách mà mô hình của bạn chưa hoàn thành. Nói một cách khác là nó chỉ ra mức độ bạn không biết tại sao phản hồi quan sát được là giá trị thực sự và không phải là những gì mô hình dự đoán. Nếu bạn biết mô hình của mình là hoàn hảo, thì bạn sẽ chỉ định phân phối xác suất với tất cả khối lượng của nó bằng 0 cho các lỗi. Chỉ định một

y = m + e

$\bf{y}=m+e$

m

$\bf{m}$

y

$\bf{y}$

e

$\bf{e}$

y - m = e

$\bf{y}-m=e$

về cơ bản nói rằng các lỗi nhỏ trong các đơn vị của

. Ý tưởng là các dự đoán mô hình có xu hướng "sai" bởi số lượng tương tự cho các quan sát khác nhau và là "đúng" trên thang đo

. Như một sự tương phản, một bài tập khác là

mà nói rằng hầu hết các lỗi nhỏ, nhưng một số lỗi khá lớn - mô hình có "sai lầm ngớ ngẩn" thỉnh thoảng hay "cú sốc" về dự đoán đáp ứng.

N (0, σ^{2})

$N(0,\sigma^{2})$

σ

$\sigma$

σ

$\sigma$

C a u c h y (0, γ)

$Cauchy(0,\gamma)$

Theo một nghĩa nào đó, phân phối lỗi được liên kết chặt chẽ hơn với mô hình hơn là phản hồi. Điều này có thể được nhìn thấy từ tính không xác định của phương trình trên, vì nếu cả hai và không xác định thì thêm một vectơ tùy ý vào và trừ nó khỏi dẫn đến cùng một giá trị của , $\bf{m}$ $\bf{e}$ $\bf{m}$ $\bf{e}$ $\bf{y}$ $\bf{y}=m+e=(m+b)+(e-b)=m'+e'$ . Việc gán phân phối lỗi và phương trình mô hình về cơ bản cho biết các vectơ tùy ý nào hợp lý hơn các vectơ khác.

— xác suất
nguồn

"Điều này có vẻ lạ bởi vì bạn sẽ chỉ quan sát y một lần và chỉ một lần (y là vectơ / ma trận / v.v. hoàn chỉnh của câu trả lời). Làm thế nào điều này có thể được" phân phối "? Không có gì để làm với phản ứng quan sát thực tế của bạn. Ít nhất, bất kỳ giả định nào về phản hồi "được phân phối" là không thể đo lường được "Tôi bối rối; bạn đang nói rằng chúng ta không thể kiểm tra

so với

?

H_{0} : y \sim f_{0}

$H_0: y\sim f_0$

H_{1} : y \sim f_{1}

$H_1: y\sim f_1$

— JMS

n

$n$

y_{i}

$y_i$

Y

$Y$

x_{i}

$x_i$

Y = X β + ϵ

$Y = X\beta + \epsilon$

ϵ

$\epsilon$

Y | β, X

$Y|\beta, X$

@JMS - I think I might delete that first paragraph. I don't think it adds anything to my answer (besides confusion).

— probabilityislogic

one of my favorite things to add to my answers :)

— JMS