AIC của hồi quy sườn: mức độ tự do so với số lượng tham số

Tôi muốn tính AICc của mô hình hồi quy sườn. Vấn đề là số lượng tham số. Đối với hồi quy tuyến tính, hầu hết mọi người đề xuất rằng số lượng tham số bằng số lượng hệ số ước tính cộng với sigma (phương sai của lỗi).

Khi nói đến hồi quy sườn, tôi đọc rằng dấu vết của ma trận mũ - mức độ tự do (df) - được sử dụng đơn giản là số lượng các tham số trong công thức AIC (ví dụ ở đây hoặc ở đây ).

Điều này có đúng không? Tôi cũng có thể đơn giản sử dụng df để tính AICc không? Tôi có thể chỉ cần thêm +1 vào df để tính toán phương sai lỗi không?

— Julian
nguồn

Tôi thích câu hỏi này vì các đầu vào chung cho AICc là RSS, k và n - nhưng nó có xu hướng không chọn các mô hình mạnh hơn các mô hình ít lỗi nhất cho cùng một số tham số. Nếu bạn sử dụng cùng một cách tiếp cận phù hợp cho các mô hình ứng viên và bạn phù hợp với cùng một dữ liệu, thì lựa chọn mô hình là lựa chọn mô hình. Tôi thích câu hỏi làm thế nào để bạn đo lường phù hợp nhất về mặt lý thuyết thông tin với cùng một mô hình và dữ liệu, nhưng sử dụng các loại phù hợp khác nhau như lỗi bình phương nhỏ nhất và mất Huber.

— EngrStudent - Phục hồi Monica

@EngrStudent, chỉ là một lưu ý nhỏ: RSS là trường hợp đặc biệt của khả năng bình thường. Khi một phân phối khác (không bình thường) được giả định, AIC sẽ không chứa RSS mà thay vào đó là khả năng đăng nhập của mô hình. Ngoài ra, các loại phù hợp : bạn có nghĩa là các hàm mất mát mà theo đó mô hình được đánh giá hoặc hàm mất được sử dụng để khớp với mô hình, hoặc một cái gì khác?

— Richard Hardy

Xem: web.mit.edu/lrosasco/www/publications/model_focm.pdf

— kjetil b halvorsen

@RichardHardy - Bạn nói đúng về khả năng bình thường! Trong thực tế, định lý giới hạn trung tâm được sử dụng quá mức. Trong trường hợp này, nó cũng có nghĩa tương tự khi tôi nói "hàm phù hợp" và bạn nói "hàm mất". Tôi nghĩ về các bình phương tối thiểu về mặt giả ngẫu nhiên đầu tiên và số liệu lỗi thứ hai. Đó là một "trình tự học tập" trong quá trình suy nghĩ và giao tiếp của tôi.

— EngrStudent - Phục hồi Monica

@EngrStudent, cảm ơn. Cũng lưu ý rằng tôi đã cung cấp hai cách sử dụng cho hàm mất: khớp (hàm mục tiêu theo kinh nghiệm mà từ đó một công cụ ước tính được lấy) và đánh giá (hàm mục tiêu lý thuyết mà chúng tôi muốn tối ưu hóa).

— Richard Hardy

Hồi quy AIC và sườn núi có thể được thực hiện tương thích khi các giả định nhất định được thực hiện. Tuy nhiên, không có phương pháp duy nhất để chọn độ co cho hồi quy sườn, do đó không có phương pháp chung nào áp dụng AIC cho nó. Hồi quy sườn là một tập hợp con của chính quy Tikhonov . Có nhiều tiêu chí có thể được áp dụng để lựa chọn các yếu tố làm mịn cho quá trình chính quy Tikhonov, ví dụ, xem điều này . Để sử dụng AIC trong bối cảnh đó, có một bài viết đưa ra các giả định khá cụ thể về cách thực hiện chính quy hóa đó, lựa chọn tham số chính quy hóa phức tạp thông tin cho giải pháp cho các vấn đề nghịch đảo có điều kiện . Cụ thể, điều này giả định

$\sigma ^2$ $p(x) =$

$b$ $\left [ \dfrac{\text{SD}(b)}{b}\right ]$

GD (t; a, b) = \frac{1}{t} \frac{e^{- b t} (b t)^{a}}{Γ (a)}; t \geq 0,

$\text{GD}(t; a,b) = \,\dfrac{1}{t}\;\dfrac{e^{-b \, t}(b \, t)^{\,a} }{\Gamma (a)} \;\; \;;\hspace{2em}t\geq 0 \;\; \;\;,\\ %\tabularnewline$

$[0,\infty)$ $[t_1,t_n]$ mẫu thời gian. Rõ ràng, điều đó được thực hiện bởi vì AUC là một tích phân không hợp lệ, và, nếu không, ví dụ, sử dụng ML, sự phù hợp phân phối gamma sẽ thiếu độ mạnh. Do đó, đối với ứng dụng cụ thể đó, khả năng tối đa, do đó AIC, thực sự không liên quan. (Người ta nói rằng AIC được sử dụng để dự đoán và BIC cho mức độ phù hợp. Tuy nhiên, dự đoán và mức độ phù hợp đều chỉ liên quan khá gián tiếp đến một biện pháp mạnh mẽ của AUC.)

$df$ $\lambda$ $df = p$ $\lambda = 0$ $df = 0$ $\lambda=\infty$ $df$ $df$ $\infty$ $df$

$df_{ridge}= \sum(\lambda_i / (\lambda_i + \lambda$ $\lambda_i$ $X^{\text{T}} X$ $df$

— Carl
nguồn