Có tồn tại một thống kê phù hợp với mô hình (như AIC hoặc BIC) có thể được sử dụng tuyệt đối thay vì chỉ so sánh tương đối không?

Tôi không quen thuộc với tài liệu này, vì vậy xin vui lòng tha thứ cho tôi nếu đây là một câu hỏi rõ ràng.

Do AIC và BIC phụ thuộc vào tối đa hóa khả năng, nên dường như chúng chỉ có thể được sử dụng để so sánh tương đối giữa một tập hợp các mô hình đang cố gắng khớp với tập dữ liệu nhất định. Theo hiểu biết của tôi, sẽ không có ý nghĩa khi tính AIC cho Mô hình A trên tập dữ liệu 1, tính AIC cho Mô hình B trên tập dữ liệu 2, sau đó so sánh hai giá trị AIC và đánh giá rằng (ví dụ) Mô hình A phù hợp với tập dữ liệu 1 tốt hơn Mô hình B phù hợp với tập dữ liệu 2. Hoặc có lẽ tôi nhầm và đó là điều hợp lý để làm. Làm ơn cho tôi biết.

Câu hỏi của tôi là: có tồn tại một thống kê phù hợp mô hình có thể được sử dụng tuyệt đối thay vì chỉ so sánh tương đối không? Đối với các mô hình tuyến tính, một cái gì đó như sẽ hoạt động; nó có một phạm vi xác định và kỷ luật các ý tưởng cụ thể về giá trị "tốt" là gì. Tôi đang tìm kiếm một cái gì đó tổng quát hơn và nghĩ rằng tôi có thể bắt đầu bằng cách đưa các chuyên gia vào đây. Tôi chắc chắn rằng ai đó đã nghĩ về loại điều này trước đây, nhưng tôi hoàn toàn không biết các thuật ngữ phù hợp để thực hiện tìm kiếm hiệu quả trên Google Scholar. $R^2$

Bất kỳ trợ giúp sẽ được đánh giá cao.

model-selection aic bic

— Nathan VanHoudnos
nguồn

Nếu mô hình A phù hợp với tập dữ liệu 1 và mô hình B phù hợp với tập dữ liệu 2, thì không có gì để so sánh: mô hình và dữ liệu hoàn toàn khác nhau. Vì vậy, chính xác những gì bạn đang cố gắng để thực hiện? BTW, tệ hơn là vô dụng trong vấn đề này; đối với một số lời chỉ trích, xem số liệu thống kê.stackexchange.com/questions/13314 / từ

R^{2}

$R^2$

— whuber

Bạn có ý nghĩa gì với một cái gì đó 'tổng quát hơn' mà bạn có thể đưa ra một ví dụ cho các loại mô hình otye mà bạn có thể muốn mở rộng? Một số mô hình sẽ dễ dàng thích ứng với cách tiếp cận , ví dụ: mức độ phù hợp thấp, nhưng những mô hình khác sẽ khá khó, ví dụ như sự phù hợp của dữ liệu nhị thức.

R^{2}

$R^2$

— russellpierce

@whuber Wow, đó là một câu trả lời tuyệt vời cho câu hỏi ! Nhưng, những bất cập của nó sang một bên, được sử dụng để nói rằng mô hình của họ là "tốt" theo nghĩa "tuyệt đối" (ví dụ "My là như vậy và tốt hơn so với những gì người ta thường thấy ... "). Tôi đang tìm kiếm một thống kê hợp lý (và tổng quát) hơn để thực hiện cùng một mục đích (ví dụ: "MagicStatistic của tôi là như vậy và tốt hơn ...). Suy nghĩ ngây thơ đầu tiên của tôi là làm điều gì đó như bình thường hóa điểm xác nhận chéo gấp k, nhưng có vẻ như không ai đã làm điều đó (vì vậy có lẽ đó không phải là một ý tưởng hay).

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

— Nathan VanHoudnos

@Nathan Tôi không muốn nghe giống như tôi đang nói về một điểm hay bị ám ảnh bởi điều đó - Tôi thì không - nhưng với tôi, những người sử dụng để khẳng định mô hình của họ là tuyệt đối cảm giác thường có thể bị ... nhầm. Một bài học của là một thống kê phù hợp với mô hình chỉ có thể hiểu được trong bối cảnh của bộ dữ liệu. Khi hai bộ dữ liệu có khả năng không có gì chung, việc so sánh hai số liệu thống kê đó thực sự có ý nghĩa gì? Vì vậy, để bắt đầu giải quyết câu hỏi của bạn, chúng tôi cần đưa ra các giả định về cách hai bộ dữ liệu có thể liên quan với nhau. Bất kỳ đề xuất?

R^{2}

$R^2$

R^{2}

$R^2$

— whuber

Điều duy nhất tôi có thể tưởng tượng trong vương quốc của những gì bạn đang nói đến sẽ là thước đo độ chính xác dự đoán. Chất lượng của hai mô hình trên hai bộ dữ liệu khác nhau có khả năng có thể được so sánh theo đó một mô hình dự đoán tốt nhất, mặc dù điều này cũng không hoàn hảo.

— Macro

Phù hợp với những gì Macro đề xuất Tôi nghĩ thuật ngữ bạn đang tìm kiếm là thước đo hiệu suất. Mặc dù nó không phải là một cách an toàn để khẳng định sức mạnh dự đoán, nhưng đây là một cách rất hữu ích để so sánh chất lượng phù hợp của các mô hình khác nhau.

Một biện pháp ví dụ sẽ là Lỗi phần trăm trung bình trung bình, nhưng có thể dễ dàng tìm thấy nhiều hơn trong số đó.

Giả sử bạn sử dụng SetA với modelA để mô tả số lượng lỗ trên đường và bạn sử dụng SetB và modelB để mô tả số người trong một quốc gia, thì tất nhiên bạn không thể nói rằng một mô hình tốt hơn mô hình kia, nhưng bạn có thể ít nhất là xem mô hình nào cung cấp một mô tả chính xác hơn.

— Dennis Jaheruddin
nguồn

Có một số bài báo mới khám phá chính xác những gì bạn đang tìm kiếm, tôi nghĩ vậy; Nakagawa và Schielzeth (2013) đưa ra một thống kê R² cho các mô hình hiệu ứng hỗn hợp gọi là "R2 GLMM" để xác định lượng phương sai không giải thích được trong một mô hình.

R²GLMM có điều kiện được hiểu là phương sai được giải thích bởi cả hai yếu tố cố định và ngẫu nhiên;

Marg² R²GLMM đại diện cho phương sai được giải thích bởi các yếu tố cố định.

Năm 2014, Johnson đã cập nhật phương trình để tính toán các mô hình độ dốc ngẫu nhiên.

Hạnh phúc, bạn có thể dễ dàng tính toán cả R²GLMM biên và có điều kiện bằng cách sử dụng gói "MuMIn" trong R ( Barton, 2015 ).

— Nova
nguồn