R-squared có thực sự là một số liệu không hợp lệ cho các mô hình phi tuyến tính không?

8

Tôi đã đọc rằng R-squared không hợp lệ cho các mô hình phi tuyến tính, bởi vì mối quan hệ mà SSR + SSE = SSTotal không còn giữ được nữa. Ai đó có thể giải thích tại sao điều này là đúng?

SSR và SSE chỉ là các chỉ tiêu bình phương của hồi quy và vectơ dư, có $i^{th}$ các thành phần là $(\hat{Y_i}-\bar{Y})$ và $(Y_i-\hat{Y_i})$ , tương ứng. Miễn là các vectơ này trực giao với nhau, thì mối quan hệ trên không phải luôn luôn giữ, bất kể loại hàm nào được sử dụng để ánh xạ các giá trị dự đoán cho các giá trị được trang bị?

Hơn nữa, không nên hồi quy và vectơ dư liên quan đến bất kỳ mô hình bình phương nhỏ nhất nào là trực giao, theo định nghĩa của bình phương nhỏ nhất? Vectơ dư là sự khác biệt giữa vectơ $(Y_i-\bar{Y_i})$ và vectơ hồi quy. Nếu vectơ hồi quy sao cho vectơ dư / chênh lệch không trực giao với nó, thì vectơ hồi quy có thể được nhân với một hằng số để bây giờ nó trực giao với vectơ dư / chênh lệch. Điều này cũng sẽ làm giảm định mức của vectơ dư / chênh lệch.

Nếu tôi đã giải thích điều này kém, thì xin vui lòng cho tôi biết và tôi sẽ cố gắng làm rõ.

— Greg
nguồn

1

Vì bạn luôn có thể tính toán

R^{2},

$R^2,$ bạn có thể giải thích theo nghĩa nào nó có thể được coi là "không hợp lệ"? Vì mục đích gì, chính xác?

— whuber

4

Bản lề này một phần về cách xác định số lượng. Tôi thấy có ít tác hại khi thận trọng khi sử dụng bình phương tương quan giữa phản ứng được quan sát và phù hợp như một thống kê mô tả, nhưng nó không nhất thiết là hồi quy phi tuyến tối đa hóa. Điều quan trọng là, hoặc nên là, hồi quy phi tuyến sử dụng một số dạng chức năng với một số lý do khoa học (kỹ thuật, y tế, bất cứ điều gì) hoặc ít nhất là hợp lý: đó là bối cảnh xác định mức độ tốt hay xấu của sự phù hợp là hữu dụng nhất.

— Nick Cox

@whuber Xin lỗi tôi không thấy bình luận của bạn khi nó được đăng lần đầu. Tôi nghĩ rằng R-squared được coi là không hợp lệ trong các trường hợp phi tuyến vì nhiều lý do, nhưng tôi chủ yếu tập trung vào tuyên bố rằng SSE + SSR = / = SSTotal khi tuyến tính bị vi phạm, vì tôi tin rằng nó sai.

— Greg

6

Các tổng bình phương trong hồi quy tuyến tính là trường hợp đặc biệt của các giá trị sai lệch tổng quát hơn trong mô hình tuyến tính tổng quát. Trong mô hình tổng quát hơn có phân phối đáp ứng với giá trị trung bình được liên kết với hàm tuyến tính của các biến giải thích (với thuật ngữ chặn). Ba thống kê sai lệch trong GLM được xác định là:

\begin{matrix} Null Deviance & D_{T O T} = 2 ({\hat{ℓ}}_{S} - {\hat{ℓ}}_{0}), \\ Explained Deviance & D_{R E G} = 2 ({\hat{ℓ}}_{p} - {\hat{ℓ}}_{0}), \\ {Residual Deviance}^{†} & D_{R E S} = 2 ({\hat{ℓ}}_{S} - {\hat{ℓ}}_{p}) . \end{matrix}

$\begin{matrix} \text{Null Deviance} \quad \quad \text{ } \text{ } & & \text{ } D_{TOT} = 2(\hat{\ell}_{S} - \hat{\ell}_0), \\[6pt] \text{Explained Deviance} & & D_{REG} = 2(\hat{\ell}_{p} - \hat{\ell}_0), \\[6pt] \text{Residual Deviance}^\dagger \text{ } & & \text{ } D_{RES} = 2(\hat{\ell}_{S} - \hat{\ell}_{p}). \\[6pt] \end{matrix}$

Trong các biểu thức này, giá trị $\hat{\ell}_S$ là khả năng ghi nhật ký tối đa theo mô hình bão hòa (một tham số cho mỗi điểm dữ liệu), $\hat{\ell}_0$ là khả năng đăng nhập tối đa hóa theo mô hình null (chỉ chặn) và $\hat{\ell}_{p}$ là khả năng đăng nhập tối đa theo mô hình (thuật ngữ chặn và $p$ hệ số).

Các thống kê sai lệch này đóng một vai trò tương tự như các phiên bản thu nhỏ của tổng bình phương trong hồi quy tuyến tính. Dễ dàng thấy rằng chúng thỏa mãn sự phân hủy $D_{TOT} = D_{REG} + D_{RES}$ , tương tự như sự phân rã của tổng bình phương trong hồi quy tuyến tính. Trong thực tế, trong trường hợp bạn có phân phối phản hồi bình thường với hàm liên kết tuyến tính, bạn sẽ có được mô hình hồi quy tuyến tính và các thống kê sai lệch giảm xuống như sau:

\begin{aligned} D_{T O T} = \frac{1}{σ^{2}} \sum_{i = 1}^{n} (y_{i} - \bar{y})^{2} = \frac{1}{σ^{2}} \cdot S S_{T O T}, \\ D_{R E G} = \frac{1}{σ^{2}} \sum_{i = 1}^{n} ({\hat{y}}_{i} - \bar{y})^{2} = \frac{1}{σ^{2}} \cdot S S_{R E G}, \\ D_{R E S} = \frac{1}{σ^{2}} \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i})^{2} = \frac{1}{σ^{2}} \cdot S S_{R E S} . \end{aligned}

$\begin{equation} \begin{aligned} D_{TOT} = \frac{1}{\sigma^2} \sum_{i=1}^n (y_i - \bar{y})^2 = \frac{1}{\sigma^2} \cdot SS_{TOT}, \\[6pt] D_{REG} = \frac{1}{\sigma^2} \sum_{i=1}^n (\hat{y}_i - \bar{y})^2 = \frac{1}{\sigma^2} \cdot SS_{REG}, \\[6pt] D_{RES} = \frac{1}{\sigma^2} \sum_{i=1}^n (y_i - \hat{y}_i)^2 = \frac{1}{\sigma^2} \cdot SS_{RES}. \\[6pt] \end{aligned} \end{equation}$

Bây giờ, hệ số biến đổi trong mô hình hồi quy tuyến tính là một thống kê mức độ phù hợp để đo tỷ lệ của tổng biến thể trong đáp ứng có thể quy cho các biến giải thích. Một phần mở rộng tự nhiên trong trường hợp GLM là hình thành thống kê:

R_{G L M}^{2} = 1 - \frac{D_{R E S}}{D_{T O T}} = \frac{D_{R E G}}{D_{T O T}} .

$R_{GLM}^2 = 1-\frac{D_{RES}}{D_{TOT}} = \frac{D_{REG}}{D_{TOT}}.$

Dễ dàng thấy rằng thống kê này làm giảm hệ số biến đổi trong trường hợp đặc biệt của hồi quy tuyến tính, do các giá trị tỷ lệ hủy bỏ. Trong bối cảnh rộng hơn của GLM, thống kê có cách hiểu tự nhiên tương tự như cách giải thích của nó trong hồi quy tuyến tính: nó đưa ra tỷ lệ của độ lệch null được giải thích bởi các biến giải thích trong mô hình.

Bây giờ chúng ta đã thấy các tổng bình phương trong hồi quy tuyến tính mở rộng đến độ lệch trong GLM, chúng ta có thể thấy rằng hệ số biến đổi thông thường là không phù hợp trong mô hình phi tuyến tính, vì nó đặc trưng cho trường hợp của một mô hình tuyến tính với một thuật ngữ lỗi phân phối bình thường. Tuy nhiên, chúng ta có thể thấy rằng mặc dù hệ số biến đổi tiêu chuẩn là không phù hợp, có thể hình thành một sự tương tự thích hợp bằng cách sử dụng các giá trị sai lệch, với một cách giải thích tương tự.

$^\dagger$ Sự lệch lạc còn lại đôi khi chỉ được gọi là sự lệch lạc.

— Ben - Phục hồi Monica
nguồn

1

Cảm ơn cho bài viết hữu ích. R2 1-DRES / DTOT chung này có tên btw không? Đôi khi tôi thấy nó được trích dẫn là McFadden, nhưng McFadden tôi tin rằng được định nghĩa là 1-logLik (mô hình) / logLik (null_model), chỉ phù hợp với công thức ở trên là logLik (saturated_model) là zero (đó là trường hợp hồi quy logistic , nhưng không phải cho các mô hình khác). Vì vậy, nó có một tên được chấp nhận?

— Tom Wenseleers

Tôi khá chắc chắn rằng đây thực sự là giả của McFadden-

R^{2}

$R^2$ . Như bạn nói, trong trường hợp hồi quy logistic, điều này đơn giản hóa theo thống kê của McFadden.

— Ben - Tái lập Monica

Chỉ cần tra cứu tham chiếu ban đầu, core.ac.uk/doad/pdf/6448852.pdf , eqn 57 và vấn đề dường như là McFadden chỉ định nghĩa R2 này cho một mô hình GLM cụ thể trong đó LL (saturated_model) bằng không. Vì vậy, tôi đoán người duy nhất có thể suy đoán như thế nào ông sẽ phải định nghĩa nó đối với trường hợp chung ... Nó cũng theo công thức này không chính xác đơn giản rằng nó được đưa ra trong ví dụ books.google.be/... cũng như trong DescTools' PseudoR2, SAS & Stata đầu ra

— Tom Wenseleers

Vì vậy, nó có lẽ nên được đặt một cái tên khác, vì đó không phải là công thức mà chính McFadden đã đưa ra. Có lẽ người ta có thể gọi nó là "McFadden tổng quát" hay đại loại như thế?

— Tom Wenseleers

Có lẽ, nhưng ngay cả khi bạn đã đi với phiên bản rộng hơn, chắc chắn đây không phải là lần đầu tiên một khái niệm được đặt theo tên của một người chỉ phát minh / phát hiện ra một trường hợp cụ thể. Tôi muốn nói rằng phần "tổng quát" là không cần thiết, và bạn có thể gọi nó là hệ số McFadden một cách hợp lý.

— Ben - Tái lập Monica

2

Tại sao SSE + SSR phải bằng SST? Nó chỉ là trường hợp cho mô hình tuyến tính. Có nhiều cách để chỉ ra rằng nó nên giữ $y=X\beta+\varepsilon$ trong điều kiện Gauss-Markov. Tuy nhiên, nó không cần phải giữ trong trường hợp chung. Gánh nặng là để chứng minh rằng nó giữ, không phải là nó không

— Aksakal
nguồn

2

Nó nên giữ dưới tính trực giao của

(Y_{i} - \hat{Y_{i}})

$(Y_i-\hat{Y_i})$ và

(\hat{Y_{i}} - \bar{Y})

$(\hat{Y_i}-\bar{Y})$ (hồi quy và dư) vectơ. Chúng ta có thể phân vùng

\sum (Y_{i} - \bar{Y})^{2}

$\sum{(Y_i-\bar{Y})^2}$ vào

\sum ((Y_{i} - \hat{Y_{i}}) + (\hat{Y_{i}} - \bar{Y}))^{2} = \sum (Y_{i} - \hat{Y_{i}})^{2} + \sum (\hat{Y_{i}} - \bar{Y})^{2} + 2 * \sum (Y_{i} - \hat{Y_{i}}) * (\hat{Y_{i}} - \bar{Y})

$\sum{((Y_i-\hat{Y_i})+(\hat{Y_i}-\bar{Y}))^2} = \sum{(Y_i-\hat{Y_i})^2} + \sum{(\hat{Y_i}-\bar{Y})^2} + 2*\sum{(Y_i-\hat{Y_i})*(\hat{Y_i}-\bar{Y})}$ . Nếu cả hai là trực giao, thì tổng thứ ba ở trên sẽ bằng 0 vì nó là sản phẩm bên trong của các vectơ.

— Greg

@Greg, tính trực giao tự nó là một thuộc tính có nguồn gốc, nó không phải là một phần của giả định hồi quy

— Aksakal

Tôi thích nghĩ về nó trong trường hợp 2 chiều. Giả sử bạn có vectơ A và B trong không gian 2 chiều. Điều này tương đương với SSTotal và SSR. SSE là sự khác biệt giữa SStotal và SSR, hoặc (A - B). Ba vectơ này tạo thành một hình tam giác.

— Greg

Giả sử bạn đang giữ vectơ A không đổi và chọn B sao cho (A - B) được thu nhỏ (vì vậy Least Squares). Sau đó, | | A - B | | được giảm thiểu khi chiều dài của B bằng hình chiếu của A lên B, trong trường hợp B và (A - B) là trực giao. NẾU B dài hơn hoặc ngắn hơn phép chiếu này, đơn giản là nó có thể được nhân với một hằng số để thay đổi điều đó. Do đó, nếu SSR không trực giao với SSE thì đó không phải là vectơ bình phương nhỏ nhất. Tôi không thấy lý do tại sao lý do này không thể được mở rộng sang không gian vectơ n chiều hoặc cho bất kỳ tập dữ liệu kích thước nào.

— Greg

Hình chiếu là một khái niệm tuyến tính

— Aksakal

1

Mặc dù R bình phương có thể vẫn là một phép đo thiếu sót trong các mô hình phi tuyến tính vì các lý do khác, tôi tin rằng tôi đã chứng minh đầy đủ rằng mối quan hệ SSR + SSE = SSTotal vẫn giữ trong một mô hình bình phương nhỏ nhất cho các hàm phi tuyến tính nhất định, đặc biệt là các hàm cho phép một thuật ngữ không đổi, chẳng hạn như các mô hình đa thức. Tôi tin rằng kết luận này tương thích với những gì đã được đăng trong cuộc thảo luận này, bao gồm cả những gì tôi đọc được từ liên kết ncbi được cung cấp, mặc dù tôi không thể truy cập vào báo cáo đầy đủ.

Nếu ai có một loạt các giá trị được trang bị $\hat y_i$ đối với một loạt các quan sát $y_i$ , Ở đâu $\hat y_i$ $= A + f(X) =$ $\bar Y$ $+ (A-\bar Y)$ $+ f(X)$ , với $A$ là một thuật ngữ không đổi và $f(X)$ một hàm của các biến dự đoán, trong đó vectơ của $(\hat{Y_i} - \bar{Y})$ không trực giao với $(Y_i - \hat{Y_i})$ , người ta có thể tạo ra một tập hợp các giá trị được trang bị mới $Z_i$ như vậy mà $Z_i = c*(\hat{Y_i} - \bar{Y}) + \bar{Y}$ , trong đó c = $\sum{(\hat{Y_i}-\bar{Y})*(Y_i-\hat{Y_i})} / \sum{(\hat{Y_i} - \bar{Y})^2}$ . Với các giá trị được trang bị mới $Z_i$ , vectơ $(Z_i - \bar{Y})$ sẽ trực giao với vectơ lỗi và vectơ lỗi mới này $(Y_i - Z_i)$ sẽ có tổng bình phương nhỏ hơn ban đầu $(Y_i-\hat{Y_i})$ . Các $Z_i$ chỉ đơn giản thu được bằng cách nhân mô hình ước tính ban đầu với hằng số $"c"$ và thêm bội số của các quan sát, tương thích với mô hình có thời hạn không đổi. Do đó, một mô hình bình phương nhỏ nhất phải luôn có hồi quy trực giao và vectơ lỗi trong các trường hợp này, điều đó có nghĩa là $SSE + SSR = SSTotal$ .

Tôi đã tạo các mô hình đa thức trên một số ít bộ dữ liệu tại nơi làm việc và mối quan hệ này đã được tổ chức với tất cả chúng. Tôi chỉ nói.

— Greg
nguồn

0

$R^2$ được sử dụng hạn chế trong hồi quy phi tuyến. Chúng tôi làm cho nó có sẵn trong GraphPad Prism, nhưng đề nghị nó chỉ được sử dụng theo một cách:

Nhìn vào $R^2$ khi bạn chạy một loạt các thử nghiệm và bạn muốn chắc chắn rằng thử nghiệm hôm nay phù hợp với các thử nghiệm khác. Ví dụ, nếu bạn luôn nhận được $R^2$ trong khoảng từ 0,90 đến 0,95 nhưng hôm nay bạn đã có $R^2$ = 0,75, sau đó bạn nên nghi ngờ và xem xét kỹ xem có vấn đề gì xảy ra với các phương pháp hoặc thuốc thử được sử dụng trong thí nghiệm cụ thể đó không. Và nếu một nhân viên mới mang lại cho bạn kết quả hiển thị $R^2$ 0,99 sử dụng cùng một hệ thống, bạn nên xem xét kỹ xem có bao nhiêu "ngoại lệ" đã bị xóa và liệu một số dữ liệu đã được tạo thành.

Hơn nữa .

— Harvey Motulsky
nguồn