Có phải phần dư được dự đoán trừ đi thực tế

Tôi đã thấy "phần dư" được định nghĩa khác nhau là "dự đoán trừ giá trị thực" hoặc "giá trị trừ dự đoán thực tế". Đối với mục đích minh họa, để cho thấy rằng cả hai công thức đều được sử dụng rộng rãi, hãy so sánh các tìm kiếm Web sau:

• dư "dự đoán trừ thực tế"
• dư "trừ thực tế dự đoán"

Trong thực tế, nó hầu như không bao giờ tạo ra sự khác biệt, vì dấu hiệu của phần dư riêng lẻ thường không quan trọng (ví dụ: nếu chúng bình phương hoặc các giá trị tuyệt đối được lấy). Tuy nhiên, câu hỏi của tôi là: một trong hai phiên bản này (dự đoán trước so với thực tế trước) có được coi là "tiêu chuẩn" không? Tôi muốn nhất quán trong cách sử dụng của mình, vì vậy nếu có một tiêu chuẩn thông thường được thiết lập tốt, tôi muốn tuân theo nó. Tuy nhiên, nếu không có tiêu chuẩn, tôi rất vui khi chấp nhận điều đó như một câu trả lời, nếu nó có thể được chứng minh một cách thuyết phục rằng không có quy ước chuẩn.

Phần dư luôn được trừ thực tế dự đoán. Các mô hình là: Do đó, phần dư , là ước tính của các lỗi : ε ε ε = y -

Tôi đồng ý với @whuber rằng dấu hiệu không thực sự quan trọng về mặt toán học. Thật tốt khi có một hội nghị mặc dù. Và quy ước hiện tại là như trong câu trả lời của tôi.

Vì OP đã thách thức thẩm quyền của tôi về chủ đề này, nên tôi thêm một số tài liệu tham khảo:

• " (2008) Còn lại. Trong: Từ điển bách khoa thống kê ngắn gọn. Springer, New York, NY , đưa ra định nghĩa tương tự.
• "Phương pháp thống kê cho công nhân nghiên cứu" của Fisher năm 1925, cũng có định nghĩa tương tự, xem Phần 26 trong phiên bản năm 1934 này . Mặc dù tiêu đề vô song, đây là một công việc quan trọng trong bối cảnh lịch sử

Tôi vừa bắt gặp một lý do thuyết phục cho một câu trả lời là những điều đúng.

Hồi quy (và hầu hết các mô hình thống kê thuộc bất kỳ loại nào) liên quan đến cách phân phối có điều kiện của một phản hồi phụ thuộc vào các biến giải thích. Một yếu tố quan trọng của đặc tính của các phân phối đó là một số biện pháp thường được gọi là "độ lệch" (mặc dù các công thức khác nhau và khác nhau đã được cung cấp): nó đề cập đến cách cơ bản nhất trong đó hình dạng phân phối rời khỏi tính đối xứng. Dưới đây là một ví dụ về dữ liệu bivariate (một phản hồi và một biến giải thích duy nhất ) với các phản ứng có điều kiện sai lệch tích cực:$y$$x$

Các đường cong màu xanh là bình phương nhỏ nhất bình thường phù hợp. Nó vẽ các giá trị được trang bị.

Khi chúng tôi tính toán sự khác biệt giữa một phản hồi và giá trị được trang bị của nó , chúng tôi thay đổi vị trí của phân phối có điều kiện, nhưng không thay đổi hình dạng của nó. Đặc biệt, độ lệch của nó sẽ không thay đổi.$y$$\hat y$

Đây là một biểu đồ chẩn đoán tiêu chuẩn cho thấy các phân phối có điều kiện thay đổi khác nhau như thế nào với các giá trị dự đoán. Về mặt hình học, nó gần giống như "giải nén" các biểu đồ phân tán trước đó.

Thay vào đó, nếu chúng ta tính toán sự khác biệt theo thứ tự khác, điều này sẽ thay đổi và sau đó đảo ngược hình dạng của phân phối có điều kiện. Độ lệch của nó sẽ là tiêu cực của phân phối có điều kiện ban đầu.$\hat y - y,$

Điều này cho thấy số lượng tương tự như con số trước, nhưng phần dư đã được tính bằng cách trừ dữ liệu khỏi sự phù hợp của chúng - tất nhiên giống như phủ định phần dư trước đó.

Mặc dù cả hai hình trước đều tương đương về mặt toán học ở mọi khía cạnh - một hình được chuyển đổi sang hình kia chỉ bằng cách lật các điểm trên đường chân trời màu xanh - một trong số chúng có mối quan hệ trực quan hơn nhiều so với cốt truyện gốc.

Do đó, nếu mục tiêu của chúng tôi là liên kết các đặc điểm phân phối của phần dư với các đặc điểm của dữ liệu gốc - và hầu như luôn luôn như vậy - thì tốt hơn là thay đổi các phản hồi thay vì thay đổi và đảo ngược chúng.

Câu trả lời đúng là rõ ràng: tính số dư của bạn là$y - \hat y.$

Green & Tashman (2008, Foresight ) báo cáo về một khảo sát nhỏ về câu hỏi tương tự cho các lỗi dự báo. Tôi sẽ tóm tắt các đối số cho một trong hai quy ước như được báo cáo bởi họ:

Đối số cho "dự đoán thực tế"

1. Quy ước thống kê là .$y=\hat{y}+\epsilon$

2. Ít nhất một người trả lời từ địa chấn đã viết rằng đây cũng là quy ước để mô hình hóa thời gian truyền sóng địa chấn. "Khi sóng địa chấn thực sự đến trước thời điểm dự đoán của mô hình, chúng ta có thời gian di chuyển âm (lỗi)." ( sic )

3. Quy ước này có ý nghĩa nếu chúng ta hiểu là ngân sách, kế hoạch hoặc mục tiêu. Ở đây, một lỗi tích cực có nghĩa là ngân sách / kế hoạch / mục tiêu đã bị vượt quá.$\hat{y}$

4. Quy ước này làm cho các công thức làm mịn theo cấp số nhân có phần trực quan hơn. Chúng ta có thể sử dụng dấu . Với quy ước khác, chúng ta sẽ cần sử dụng dấu .$+$$-$

Đối số cho "dự đoán-thực tế"

1. Nếu , thì một lỗi dương cho thấy dự báo quá cao. Điều này là trực quan hơn so với converse.$y=\hat{y}-\epsilon$

   Liên quan, nếu độ lệch dương được xác định là lỗi dự kiến dương , điều đó có nghĩa là dự báo trung bình quá cao với quy ước này.

   Và đây là khá nhiều tranh luận duy nhất được đưa ra cho quy ước này. Sau đó, một lần nữa, với những hiểu lầm mà quy ước khác có thể dẫn đến (lỗi tích cực = dự báo quá thấp), đó là một lỗi mạnh.

Cuối cùng, tôi sẽ tranh luận rằng nó thuộc về người mà bạn cần để liên lạc với những người còn lại của bạn. Và cho rằng chắc chắn có hai mặt của cuộc thảo luận này, sẽ có ý nghĩa để lưu ý rõ ràng quy ước nào bạn tuân theo.

Thuật ngữ khác nhau cho thấy các quy ước khác nhau. Thuật ngữ "dư" ngụ ý rằng đó là những gì còn sót lại sau khi tất cả các biến giải thích đã được tính đến, tức là dự đoán thực tế. "Lỗi dự đoán" ngụ ý rằng đó là dự đoán lệch bao nhiêu so với thực tế, tức là dự đoán - thực tế.

Quan niệm của một người về mô hình hóa cũng ảnh hưởng đến quy ước nào là tự nhiên hơn. Giả sử bạn có một khung dữ liệu với một hoặc nhiều cột tính năng , cột phản hồi và cột dự đoán .$X = x_1,x_2...$$y$$\hat y$

Một quan niệm là là "thật" giá trị, và chỉ đơn giản là một phiên bản chuyển đổi của . Trong quan niệm này, và đều là hai biến ngẫu nhiên ( là một biến có nguồn gốc). Mặc dù là người chúng ta thực sự quan tâm, là người chúng ta có thể quan sát, vì vậy được sử dụng làm proxy cho . Những "lỗi" là bao nhiêu lệch khỏi đây "true" giá trị . Điều này gợi ý xác định lỗi theo hướng của độ lệch này, tức là .$y$$\hat y$$X$$y$$\hat y$$\hat y$$y$$\hat y$$\hat y$$y$$\hat y$$y$$e = \hat y -y$

Tuy nhiên, có một quan niệm khác cho rằng là giá trị "thực". Đó là, y phụ thuộc vào thông qua một số quy trình xác định; một trạng thái cụ thể của làm phát sinh một giá trị xác định cụ thể. Giá trị này sau đó bị nhiễu loạn bởi một số quy trình ngẫu nhiên. Vậy ta có . Trong quan niệm này, là giá trị "thực" của y. Ví dụ: giả sử bạn đang cố gắng tính giá trị của g, gia tốc do trọng lực. Bạn thả một loạt các vật thể, bạn đo xem chúng rơi bao xa ( ) và mất bao lâu để chúng rơi ( ). Sau đó, bạn phân tích dữ liệu với mô hình y =$\hat y$$X$$X$$x \rightarrow f(X)\rightarrow f(X)+error()$$\hat y$$X$$y$$\sqrt{\frac{2x}{g}}$. Bạn thấy rằng không có giá trị nào của g làm cho phương trình này hoạt động chính xác. Vì vậy, sau đó bạn mô hình này như là

$\hat y = \sqrt{\frac{2x}{g}}$
$y = \hat y +error$ .

Nghĩa là, bạn hãy biến y và xem xét có được một "thực sự" giá trị được thực sự được tạo ra bởi luật vật lý, và sau đó một số giá trị khác đó là sửa đổi bởi một cái gì đó độc lập của , chẳng hạn như lỗi đo lường hoặc gió giật hoặc bất cứ điều gì.$\hat y$$y$$\hat y$$X$

Trong quan niệm này, bạn đang dùng y = để trở thành hiện thực "nên" và nếu bạn nhận được câu trả lời không đồng ý với điều đó, thì, thực tế đã hiểu câu trả lời sai. Bây giờ tất nhiên điều này có vẻ khá ngớ ngẩn và kiêu ngạo khi đặt theo cách này, nhưng có những lý do chính đáng để tiến hành quan niệm này, và nó có thể hữu ích khi nghĩ theo cách này. Và cuối cùng, nó chỉ là một mô hình; Các nhà thống kê không nhất thiết nghĩ rằng đây thực sự là cách thế giới hoạt động (mặc dù có thể có một số người làm). Và đưa ra phương trình , theo đó các lỗi là điểm trừ thực tế được dự đoán.$\sqrt{\frac{2x}{g}}$$y = \hat y +error$

Ngoài ra, lưu ý rằng nếu bạn không thích khía cạnh "thực tế đã hiểu sai" về quan niệm thứ hai, bạn có thể xem nó là "Chúng tôi đã xác định một số quy trình mà qua đó y phụ thuộc vào , nhưng chúng tôi không nhận được chính xác là câu trả lời đúng, vì vậy phải có một số quy trình khác g cũng ảnh hưởng đến y. " Trong biến thể này,$X$

y= y +g(?)G=y -$\hat y = f(X)$
$y = \hat y+g(?)$
$g = y-\hat y$ .

Câu trả lời của @Aksakal là hoàn toàn chính xác, nhưng tôi sẽ chỉ thêm một yếu tố bổ sung mà tôi tìm thấy giúp tôi (và các học sinh của tôi).

Phương châm: Thống kê là "hoàn hảo". Như trong, tôi luôn có thể đưa ra dự đoán hoàn hảo (tôi biết một số lông mày đang mọc ngay bây giờ ... vì vậy hãy nghe tôi nói).

Tôi sẽ dự đoán các giá trị quan sát của mình . Với một số dạng mô hình, tôi sẽ tạo một giá trị dự đoán cho từng giá trị được quan sát, tôi sẽ gọi đây là . Vấn đề duy nhất, đó là thường (luôn luôn) Vì vậy, chúng tôi sẽ thêm một biến mới để sự bình đẳng giữ ... nhưng đối với tôi, lựa chọn tốt hơn là thêm nó vào giá trị "dự đoán" ("tạo thành") của chúng tôi thay vì thêm nó vào giá trị thực (như việc thêm hoặc bớt từ một giá trị thực tế có thể không thực tế được ... xem các bình luận bên dưới): Bây giờ, chúng tôi có dự đoán "hoàn hảo" ... giá trị "cuối cùng" của chúng tôi khớp với giá trị quan sát được của chúng tôi.y i y i ≠ y i ε i y i = y i + ε $y_i$$\hat{y}_i$

Rõ ràng, điều này che đậy một lượng lớn lý thuyết thống kê làm cơ sở cho những gì đang diễn ra ... nhưng nó nhấn mạnh ý tưởng rằng giá trị quan sát được là tổng của hai phần riêng biệt (một phần có hệ thống và một phần ngẫu nhiên). Nếu bạn nhớ nó ở dạng này, bạn sẽ luôn có phần dư, , là số tiền được quan sát trừ đi dự đoán.$\epsilon_i$

$\newcommand{\e}{\varepsilon}$ Tôi sẽ sử dụng trường hợp cụ thể của hồi quy tuyến tính bình phương nhỏ nhất. Nếu chúng ta lấy mô hình của chúng tôi là sau đó là điểm @Aksakal ra chúng tôi một cách tự nhiên kết thúc với nên . Nếu thay vào đó chúng ta lấy như mô hình của chúng tôi, mà chúng tôi chắc chắn miễn phí để làm, sau đó chúng tôi nhận . Tại thời điểm này, thực sự không có lý do nào để thích cái này hơn cái kia ngoài sở thích mơ hồ cho trên .ε = Y - $Y = X\beta + \e$$\e = Y - X\beta$$\hat \e = Y - \hat Y$$Y = X\beta - \e$$\e = X\beta - Y \implies \hat \e = \hat Y - Y$$1$$-1$

Nhưng nếu sau đó chúng ta có được dư của chúng tôi qua , nơi là một ma trận idempotent chiếu vào không gian trực giao với không gian cột của ma trận thiết kế . Nếu chúng ta thay vì sử dụng sau đó chúng tôi kết thúc với . Nhưng không phải là idempotent như . Vì vậy, thực sự là phủ định của ma trận chiếu, cụ thể là . Vì vậy, tôi xem điều này là hoàn tác tiêu cực được giới thiệu bằng cách sử dụng , vì vậy, vì lợi ích của việc phân tích cú pháp, tốt hơn là chỉ sử dụng$\hat \e = Y - \hat Y$$(I - P_X)Y$$I - P_X$$X$$Y = X\beta - \e$$\hat \e = (P_X - I)Y$$P_X - I$P X - Tôi tôi - P X Y = X β - ε Y = X β + ε Y - $(P_X - I)^2 = P_X^2 - 2P_X + I = -(P_X - I)$$P_X - I$$I - P_X$$Y = X\beta - \e$$Y = X\beta + \e$ lần lượt cho chúng ta là phần dư.$Y - \hat Y$

Như đã đề cập ở những nơi khác nó không phải như phá vỡ bất cứ điều gì nếu chúng tôi sử dụng , nhưng chúng tôi kết thúc với tình huống này âm đôi mà tôi nghĩ là một lý do tốt, đủ để chỉ cần sử dụng .Y -$\hat Y - Y$$Y - \hat Y$