Làm thế nào người ta có thể chứng minh bằng thực nghiệm trong R phương pháp xác thực chéo mà AIC và BIC tương đương với?

Trong một câu hỏi khác trên trang web này, một số câu trả lời đã đề cập rằng AIC tương đương với xác thực chéo một lần (LOO) và BIC tương đương với xác thực chéo K-Fold. Có cách nào để chứng minh bằng thực nghiệm điều này trong R sao cho các kỹ thuật liên quan đến LOO và K-Fold được làm rõ và được chứng minh là tương đương với các giá trị AIC và BIC không? Mã nhận xét tốt sẽ hữu ích trong vấn đề này. Ngoài ra, để chứng minh BIC, vui lòng sử dụng gói lme4. Xem bên dưới để biết dữ liệu mẫu ...

library(lme4) #for the BIC function

generate.data <- function(seed)
{
    set.seed(seed) #Set a seed so the results are consistent (I hope)
    a <- rnorm(60) #predictor
    b <- rnorm(60) #predictor
    c <- rnorm(60) #predictor
    y <- rnorm(60)*3.5+a+b #the outcome is really a function of predictor a and b but not predictor c
    data <- data.frame(y,a,b,c) 
    return(data)    
}

data <- generate.data(76)
good.model <- lm(y ~ a+b,data=data)
bad.model <- lm(y ~ a+b+c,data=data)
AIC(good.model)
BIC(logLik(good.model))
AIC(bad.model)
BIC(logLik(bad.model))

Theo các bình luận trước đó, bên dưới tôi đã cung cấp một danh sách các hạt giống từ 1 đến 10000 trong đó AIC và BIC không đồng ý. Điều này được thực hiện bằng một tìm kiếm đơn giản thông qua các hạt giống có sẵn, nhưng nếu ai đó có thể cung cấp cách tạo dữ liệu có xu hướng tạo ra các câu trả lời khác nhau từ hai tiêu chí thông tin này thì nó có thể đặc biệt nhiều thông tin.

notable.seeds <- read.csv("http://student.ucr.edu/~rpier001/res.csv")$seed

Bên cạnh đó, tôi nghĩ về việc đặt mua những hạt giống này theo mức độ mà AIC và BIC không đồng ý mà tôi đã cố gắng định lượng là tổng của sự khác biệt tuyệt đối của AIC và BIC. Ví dụ,

AICDiff <- AIC(bad.model) - AIC(good.model) 
BICDiff <- BIC(logLik(bad.model)) - BIC(logLik(good.model))
disagreement <- sum(abs(c(AICDiff,BICDiff)))

trong đó chỉ số bất đồng của tôi chỉ áp dụng hợp lý khi các quan sát là đáng chú ý. Ví dụ,

are.diff <- sum(sign(c(AICDiff,BICDiff)))
notable <- ifelse(are.diff == 0 & AICDiff != 0,TRUE,FALSE)

Tuy nhiên, trong trường hợp AIC và BIC không đồng ý, giá trị bất đồng được tính toán luôn giống nhau (và là một hàm của cỡ mẫu). Nhìn lại cách tính toán AIC và BIC tôi có thể thấy tại sao đây có thể là trường hợp tính toán, nhưng tôi không chắc tại sao nó lại là trường hợp về mặt khái niệm. Nếu ai đó cũng có thể làm sáng tỏ vấn đề đó, tôi sẽ đánh giá cao nó.

Trong nỗ lực trả lời một phần câu hỏi của riêng tôi, tôi đã đọc mô tả của Wikipedia về xác nhận chéo một lần

liên quan đến việc sử dụng một quan sát duy nhất từ ​​mẫu ban đầu làm dữ liệu xác nhận và các quan sát còn lại làm dữ liệu huấn luyện. Điều này được lặp lại sao cho mỗi quan sát trong mẫu được sử dụng một lần làm dữ liệu xác nhận.

Trong mã R, tôi nghi ngờ rằng điều đó có nghĩa là gì đó như thế này ...

resid <- rep(NA, Nobs) 
for (lcv in 1:Nobs)
    {
        data.loo <- data[-lcv,] #drop the data point that will be used for validation
        loo.model <- lm(y ~ a+b,data=data.loo) #construct a model without that data point
            resid[lcv] <- data[lcv,"y"] - (coef(loo.model)[1] + coef(loo.model)[2]*data[lcv,"a"]+coef(loo.model)[3]*data[lcv,"b"]) #compare the observed value to the value predicted by the loo model for each possible observation, and store that value
    }

... được cho là mang lại giá trị trong phần dư có liên quan đến AIC. Trong thực tế, tổng số dư bình phương từ mỗi lần lặp của vòng lặp LOO được nêu chi tiết ở trên là một công cụ dự đoán tốt về AIC cho đáng chú ý.sebed, r ^ 2 = .9776. Tuy nhiên, ở một nơi khác , một người đóng góp cho rằng LOO nên tương đương với AIC (ít nhất là đối với các mô hình tuyến tính), vì vậy tôi hơi thất vọng vì r ^ 2 không gần hơn 1. Rõ ràng đây không thực sự là một câu trả lời - giống như mã bổ sung để cố gắng khuyến khích ai đó cố gắng cung cấp câu trả lời tốt hơn.

Phụ lục: Do AIC và BIC cho các mô hình có cỡ mẫu cố định chỉ thay đổi theo một hằng số, nên mối tương quan của BIC với phần dư bình phương cũng giống như thực tế của AIC đối với phần dư bình phương, do đó cách tiếp cận tôi thực hiện ở trên dường như không có kết quả.