Ý nghĩa của 'số lượng tham số' trong AIC

21

Khi tính toán AIC,

$AIC = 2k - 2 ln L$

k có nghĩa là 'số lượng tham số'. Nhưng những gì được coi là một tham số? Ví dụ trong mô hình

$y = ax + b$

Có phải a và b luôn được tính là tham số? Điều gì sẽ xảy ra nếu tôi không quan tâm đến giá trị của việc đánh chặn, tôi có thể bỏ qua nó hay nó vẫn được tính?

Chuyện gi xảy ra nêu

$y = a f(c,x) + b$

Trong đó là hàm của c và x, bây giờ tôi có đếm 3 tham số không? $f$

aic

— Bob bên
nguồn

9

Đây là một câu hỏi hay, bởi vì có một sự tinh tế: là số lượng tham số nhận dạng được ước tính. Chẳng hạn, mặc dù trong mô hình hồi quy năm tham số được viết, tuy nhiên . (Mô hình này tương đương với với và . .)

k

$k$

Y \sim N (β_{0} + β_{1} X_{1} + β_{2} X_{2} + β_{3} (X_{1} + X_{2}), σ^{2})

$Y\sim\mathcal{N}(\beta_0+\beta_1X_1+\beta_2X_2+\beta_3(X_1+X_2), \sigma^2)$

k = 4

$k=4$

Y \sim N (β_{0} + α_{1} X_{1} + α_{2} X_{2}, σ^{2})

$Y\sim\mathcal{N}(\beta_0+\alpha_1X_1+\alpha_2X_2, \sigma^2)$

α_{1} = β_{1} + β_{3}

$\alpha_1=\beta_1+\beta_3$

α_{2} = β_{2} + β_{3}

$\alpha_2=\beta_2+\beta_3$

— whuber

3

Nghiêm túc, bạn đếm tất cả các tham số miễn phí, có thể nhận dạng - tham số trung bình, hình dạng và tham số tỷ lệ, bất kể điều gì (và nó quan trọng đối với AIC ), nhưng đối với AIC, sẽ không có hậu quả nếu bạn bỏ qua các tham số phổ biến cho các mô hình được so sánh. Vì vậy, ví dụ, trong hồi quy, bạn nên đếm tham số phương sai. Do đó, theo tính toán của tôi, tất cả các thông số của bạn trong câu hỏi của bạn là một ngắn - nhưng nếu có chính xác một trong tất cả các mô hình, sẽ không hại gì khi bỏ nó cho AIC. R đếm rõ ràng tham số phương sai khi tính toán AIC trong các mô hình hồi quy.

_{C}

$_C$

— Glen_b -Reinstate Monica

@whuber Tại sao bình luận tuyệt vời này không được đăng dưới dạng câu trả lời? :)

— Alexis

Cảm ơn bạn, @Alexis. Tôi đã đăng ý nghĩ này như một bình luận vì ý tưởng được đề cập đầy đủ trong câu trả lời của P Schnell: Tôi chỉ muốn nhấn mạnh thêm một chút nữa.

— whuber

17

Như Mugen đã đề cập, đại diện cho số lượng tham số ước tính . Nói cách khác, đó là số lượng bổ sung bạn cần biết để chỉ định đầy đủ mô hình. Trong mô hình hồi quy tuyến tính đơn giản bạn có thể ước tính , hoặc cả hai. Bất cứ số lượng nào bạn không ước tính, bạn phải sửa chữa. Không có "bỏ qua" một tham số theo nghĩa bạn không biết và không quan tâm đến nó. Mô hình phổ biến nhất không ước tính cả và là mô hình không chặn, trong đó chúng tôi sửa . Điều này sẽ có 1 tham số. Bạn có thể dễ dàng sửa hoặc $k$

y = = một x + b

$y=ax+b$

a

$a$

b

$b$

a

$a$

b

$b$

b = 0

$b=0$

a = 2

$a=2$

b = 1

$b=1$ nếu bạn có một số lý do để tin rằng nó phản ánh thực tế. (Điểm chính: cũng là một tham số trong hồi quy tuyến tính đơn giản, nhưng vì nó có trong mọi mô hình nên bạn có thể loại bỏ nó mà không ảnh hưởng đến so sánh AIC.)

σ

$\sigma$

Nếu mô hình của bạn là , số lượng tham số phụ thuộc vào việc bạn có sửa bất kỳ giá trị nào trong số này hay không và trên dạng . Ví dụ: nếu chúng ta muốn ước tính và biết rằng , thì khi chúng ta viết ra mô hình, chúng ta có với ba tham số chưa biết. Tuy nhiên, nếu , thì chúng ta có mô hình mà thực sự chỉ có hai tham số: và .

y = = một f (c, x) + b

$y=af(c,x)+b$

f

$f$

a, b, c

$a, b, c$

f (c, x) = x^{c}

$f(c,x)=x^c$

y = = một x^{c} + b

$y=ax^c+b$

f (c, x) = c x

$f(c,x)=cx$

y = = một c x + b

$y=acx+b$

a c

$ac$

b

$b$

Điều quan trọng là là một họ các hàm được lập chỉ mục bởi . Nếu tất cả những gì bạn biết là liên tục và nó phụ thuộc vào và , thì bạn đã hết may mắn vì có vô số hàm liên tục. $f(c,x)$ $c$ $f(c,x)$ $c$ $x$

— P Schnell
nguồn

2

(+1) Có lẽ đáng nói là trong suốt "ước tính" có nghĩa là "ước tính theo khả năng tối đa".

— Scortchi - Phục hồi Monica

f (c, x)

$f(c,x)$

c

$c$

c

$c$

r^{2}

$r^2$

c

$c$

2

@SIDIABob: Có - khi bạn so sánh hai mô hình, sự khác biệt về khả năng ghi nhật ký tối đa là một ước lượng sai lệch về sự khác biệt về mất thông tin Kullback-Leibler dự kiến và thời hạn phạt trong AIC sẽ điều chỉnh sai lệch đó.

— Scortchi - Phục hồi Monica

1

@SIDIABob: Tôi nên đề cập đến việc sửa đổi AIC cho các phương trình ước lượng tổng quát và tương tự - chúng sử dụng tối đa khả năng gần đúng & một điều khoản phạt khá phức tạp.

— Scortchi - Phục hồi Monica

4

$\mathit{AIC} = 2k - 2\ln(L)$

(xem tại đây )

$k$

Tôi không cảm thấy đủ hiểu biết để trả lời câu hỏi thứ hai của bạn, tôi sẽ để nó cho một thành viên khác trong cộng đồng.

— cốc
nguồn

1

λ

$\lambda$

1

Vâng chắc chắn.

— PA6OTA

1

Đầu tiên, đối với những người có thể không quen thuộc với AIC: Tiêu chí thông tin Akaike (AIC) là một số liệu đơn giản được thiết kế để so sánh "độ tốt" của các mô hình.

Theo AIC, khi cố gắng chọn giữa hai mô hình khác nhau áp dụng cho cùng một biến đầu vào và biến trả lời , tức là các mô hình được thiết kế để giải quyết cùng một vấn đề, mô hình có AIC thấp hơn được coi là "tốt hơn".

$k$

c $f(c, x)$ $k$

— bản thân
nguồn