Khoảng dự báo hồi quy tuyến tính

Nếu xấp xỉ tuyến tính tốt nhất (sử dụng bình phương tối thiểu) của các điểm dữ liệu của tôi là dòng , làm thế nào tôi có thể tính được lỗi xấp xỉ? Nếu tôi tính độ lệch chuẩn của sự khác biệt giữa các quan sát và dự đoán , thì sau này tôi có thể nói rằng giá trị thực (nhưng không được quan sát) thuộc về khoảng ( ) với xác suất ~ 68%, giả sử phân phối bình thường? $y=mx+b$ $e_i=real(x_i)-(mx_i+b)$ $y_r=real(x_0)$ $[y_p-\sigma, y_p+\sigma]$ $y_p=mx_0+b$

Làm rõ:

Tôi đã thực hiện các quan sát liên quan đến một hàm bằng cách đánh giá nó một số điểm . Tôi phù hợp với những quan sát này cho một dòng . Đối với mà tôi không quan sát, tôi muốn biết có thể lớn đến mức nào . Sử dụng phương pháp trên, có đúng không khi nói rằng với đầu dò. ~ 68%? $f(x)$ $x_i$ $l(x)=mx+b$ $x_0$ $f(x_0)-l(x_0)$ $f(x_0) \in [l(x_0)-\sigma, l(x_0)+\sigma]$

— bmx
nguồn

Tôi nghĩ rằng bạn đang hỏi về khoảng dự đoán. Tuy nhiên, lưu ý rằng bạn sử dụng " ", thay vì " ". Đây có phải là một lỗi đánh máy? Chúng tôi không dự đoán

x_{i}

$x_i$

y_{i}

$y_i$

x

$x$

— gung - Phục hồi Monica

@gung: Tôi sử dụng

để biểu thị thời gian ví dụ và

giá trị của một số biến tại thời điểm đó, vì vậy

có nghĩa là tôi đã thực hiện quan sát

tại thời điểm

. Tôi muốn biết các dự đoán hàm phù hợp có thể cách các giá trị thực của y bao xa. Điều đó có ý nghĩa? Hàm

trả về giá trị "đúng" của

tại

và các điểm dữ liệu của tôi bao gồm

x

$x$

y

$y$

y = f (x)

$y=f(x)$

y

$y$

x

$x$

r e a l (x_{i})

$real(x_i)$

y

$y$

x_{i}

$x_i$

(x_{i}, r e a l (x_{i}))

${(x_i, real(x_i))}$

— bmx

Điều đó có vẻ hoàn toàn hợp lý. Các phần tôi đang tập trung vào, ví dụ: "

", thông thường chúng ta nghĩ về các lỗi / phần dư trong mô hình reg là "

". SD của phần dư không có vai trò trong việc tính toán các khoảng dự đoán. Đó là "

e_{i} = r e a l (x_{i}) - (m x_{i} + b)

$e_i=real(x_i)-(mx_i+b)$

e_{i} = y_{i} - (m x_{i} + b)

$e_i=y_i-(mx_i+b)$

x_{i}

$x_i$ "Điều đó thật kỳ lạ đối với tôi; Tôi tự hỏi liệu đó có phải là một lỗi đánh máy hay bạn đang hỏi về điều gì đó mà tôi không nhận ra.

— gung - Tái lập Monica

Tôi nghĩ rằng tôi thấy; Tôi đã bỏ lỡ chỉnh sửa của bạn. Điều này cho thấy hệ thống hoàn toàn có tính quyết định và nếu bạn có quyền truy cập vào chức năng cơ bản thực sự , bạn luôn có thể dự đoán

hoàn toàn không có lỗi. Đó không phải là cách chúng ta thường nghĩ về các mô hình reg.

y_{i}

$y_i$

— gung - Phục hồi Monica

bmx, có vẻ như tôi có một ý tưởng rõ ràng về câu hỏi của bạn và nhận thức tốt về một số vấn đề. Bạn có thể quan tâm để xem xét ba chủ đề liên quan chặt chẽ. stats.stackexchange.com/questions/17773 mô tả các khoảng dự đoán theo thuật ngữ phi kỹ thuật; stats.stackexchange.com/questions/26702 đưa ra mô tả toán học hơn; và trong stats.stackexchange.com/questions/9131 , Rob Hyndman cung cấp công thức bạn tìm kiếm. Nếu những điều này không trả lời đầy đủ câu hỏi của bạn, ít nhất họ có thể cung cấp cho bạn một ký hiệu và từ vựng chuẩn để làm rõ nó.

— whuber

@whuber đã chỉ cho bạn ba câu trả lời hay, nhưng có lẽ tôi vẫn có thể viết một cái gì đó có giá trị. Câu hỏi rõ ràng của bạn, như tôi hiểu, là:

Với mô hình trang bị của $\hat y_i=\hat mx_i + \hat b$ (thông báo tôi đã thêm 'mũ') , và giả sử dư của tôi được phân phối bình thường, , tôi có thể dự đoán rằng một khi chưa phản ứng không quan sát được, , với giá trị dự báo được biết, , sẽ nằm trong khoảng $\mathcal N(0, \hat\sigma^2_e)$ $y_{new}$ $x_{new}$ , với xác suất 68%? $(\hat y -\sigma_e, \hat y +\sigma_e)$

Theo trực giác, câu trả lời có vẻ như là "có", nhưng câu trả lời thực sự là có thể . Đây sẽ là trường hợp khi các tham số (nghĩa là & ) được biết và không có lỗi. Vì bạn ước tính các tham số này, chúng tôi cần tính đến sự không chắc chắn của chúng. $m, b,$ $\sigma$

Trước tiên hãy nghĩ về độ lệch chuẩn của phần dư của bạn. Bởi vì điều này được ước tính từ dữ liệu của bạn, có thể có một số lỗi trong ước tính. Do đó, phân phối bạn nên sử dụng để hình thành khoảng dự đoán của mình phải là , không phải là bình thường. Tuy nhiên, vì hội tụ nhanh đến mức bình thường, nên điều này ít có khả năng là một vấn đề trong thực tế. $t_\text{df error}$ $t$

Vì vậy, chúng ta có thể chỉ cần sử dụng , thay vì , và đi về cách vui vẻ của chúng tôi? Tiếc là không có. Vấn đề lớn hơn là có sự không chắc chắn về ước tính lại giá trị trung bình có điều kiện của phản ứng tại địa điểm đó do sự không chắc chắn trong ước tính của bạn & . Như vậy $\hat y_\text{new}\pm t_{(1-\alpha/2,\ \text{df error})}s$ $\hat y_\text{new}\pm z_{(1-\alpha/2)}s$ $\hat m$ $\hat b$ độ lệch chuẩn của dự đoán của bạn cần kết hợp nhiều hơn chỉ $s_\text{error}$ . Bởi vì chênh lệch thêm , phương sai ước tính của dự đoán sẽ là: Thông báo rằng " " được subscripted để đại diện cho giá trị cụ thể cho cái mới quan sát và " " tương ứng được đăng ký. Đó là, khoảng dự đoán của bạn phụ thuộc vào vị trí quan sát mới dọc theo

s_{predictions(new)}^{2} = s_{error}^{2} + Var (\hat{m} x_{new} + \hat{b})

$s^2_\text{predictions(new)}=s^2_\text{error}+\text{Var}(\hat mx_\text{new}+\hat b)$

x

$x$

s^{2}

$s^2$

x

$x$ trục. Độ lệch chuẩn của các dự đoán của bạn có thể được ước tính thuận tiện hơn với công thức sau:

Là một mặt lưu ý thú vị, chúng ta có thể suy ra một vài sự thật về khoảng thời gian dự đoán từ phương trình này. Thứ nhất, khoảng thời gian dự đoán sẽ hẹp nhiều dữ liệu hơn chúng tôi đã có khi chúng tôi xây dựng mô hình dự báo (điều này là bởi vì có ít không chắc chắn trong

). Thứ hai, dự đoán sẽ chính xác nhất nếu chúng được thực hiện ởgiá trịtrung bình của cácgiá trị

bạn đã sử dụng để phát triển mô hình của mình, vì tử số cho thuật ngữ thứ ba sẽ là

. Lý do là trong các trường hợp bình thường, không có sự không chắc chắn về độ dốc ước tính tại giá trị trung bình của

s_{predictions(new)} = \sqrt{s_{error}^{2} (1 + \frac{1}{N} + \frac{(x_{new} - \bar{x})^{2}}{\sum (x_{i} - \bar{x})^{2}})}

$s_\text{predictions(new)}=\sqrt{s^2_\text{error}\left(1+\frac{1}{N}+\frac{(x_\text{new}-\bar x)^2}{\sum(x_i-\bar x)^2}\right)}$

\hat{m}

$\hat m$

\hat{b}

$\hat b$

x

$x$

0

$0$

x

$x$ , chỉ có một số điểm không chắc chắn về vị trí thẳng đứng thực sự của đường hồi quy. Do đó, một số bài học cần rút ra để xây dựng các mô hình dự đoán là: nhiều dữ liệu hơn là hữu ích, không phải với việc tìm kiếm "ý nghĩa", mà là cải thiện độ chính xác của các dự đoán trong tương lai; và rằng bạn nên tập trung nỗ lực thu thập dữ liệu của mình vào khoảng thời gian mà bạn sẽ cần đưa ra dự đoán trong tương lai (để giảm thiểu tử số đó), nhưng hãy truyền bá các quan sát từ trung tâm đó càng nhiều càng tốt (để tối đa hóa mẫu số đó).

$t$

— gung - Reinstate Monica
nguồn