Ví dụ đơn giản cho thấy những lợi thế của Bayesian Model Averaging (BMA)

Tôi đang kết hợp cách tiếp cận Trung bình Mô hình Bayes (BMA) trong nghiên cứu của mình và sẽ sớm trình bày về công việc của tôi với các đồng nghiệp của tôi. Tuy nhiên, BMA không thực sự nổi tiếng trong lĩnh vực của tôi, vì vậy sau khi trình bày chúng với tất cả lý thuyết và trước khi thực sự áp dụng nó vào vấn đề của mình, tôi muốn trình bày một ví dụ đơn giản nhưng mang tính hướng dẫn về lý do tại sao BMA hoạt động.

Tôi đã suy nghĩ về một ví dụ đơn giản với hai mô hình mà người ta có thể chọn, nhưng mô hình tạo dữ liệu thực sự (DGM) nằm ở đâu đó ở giữa và bằng chứng không thực sự ủng hộ bất kỳ mô hình nào trong số đó. Vì vậy, nếu bạn chọn một và tiếp tục từ chúng, bạn sẽ bỏ qua sự không chắc chắn của mô hình và gây ra lỗi, nhưng BMA, mặc dù mô hình thực sự không phải là một phần của tập hợp mô hình, ít nhất là cho mật độ chính xác của tham số quan tâm. Chẳng hạn, có hai dự báo thời tiết mỗi ngày (A và B) và một người muốn dự đoán thời tiết tốt nhất, vì vậy, theo thống kê cổ điển, trước tiên bạn sẽ cố gắng tìm người dự báo tốt nhất giữa hai người, nhưng nếu sự thật nằm ở đâu đó ở giữa (nghĩa là đôi khi A đúng, đôi khi B). Nhưng tôi không thể chính thức hóa nó. Một cái gì đó như thế nhưng tôi rất cởi mở với các ý tưởng. Tôi hy vọng câu hỏi này là đủ cụ thể!

Trong tài liệu, tôi không tìm thấy bất kỳ ví dụ hay nào từ những gì tôi đã đọc cho đến nay:

• Kruschke (2011) , trong khi giới thiệu tuyệt vời về thống kê Bayes, không thực sự tập trung vào BMA và ví dụ về việc tung đồng xu trong chương 4 là tuyệt vời để giới thiệu thống kê Bayes, nhưng thực sự không thuyết phục được một nhà nghiên cứu đồng nghiệp sử dụng BMA. ("Tại sao một lần nữa tôi lại có ba mô hình, một mô hình nói rằng đồng tiền là công bằng và hai mô hình nói rằng nó thiên vị theo một trong hai hướng?")
• Tất cả những thứ khác tôi đọc ( Koop 2003 , Koop / Poirier / Tobias (2007) , Hoeting và cộng sự (1999) và hàng tấn người khác) là những tài liệu tham khảo tuyệt vời, nhưng tôi không tìm thấy một ví dụ đồ chơi đơn giản nào trong đó.

Nhưng có lẽ tôi chỉ bỏ lỡ một nguồn tốt ở đây.

Vì vậy, có ai có một ví dụ tốt mà anh ấy hoặc cô ấy sử dụng để giới thiệu BMA? Có thể bằng cách thậm chí cho thấy khả năng và hậu thế bởi vì tôi nghĩ rằng đó sẽ là khá hướng dẫn.

Tôi đã làm một cái gì đó tương tự gần đây. Không quá cố gắng để thuyết phục người khác, nhưng thực hiện một dự án nhỏ cho phép tôi có được một chút hương vị của BMA. Những gì tôi đã làm là tạo ra một tập dữ liệu với phản hồi nhị phân, ba biến độc lập có ảnh hưởng đến phản hồi và bảy biến không có bất kỳ ảnh hưởng nào đến phản hồi. Sau đó, tôi đã so sánh các kết quả BMA với các ước tính thường xuyên trong hồi quy logistic. Tôi nghĩ rằng ít nhất trong trường hợp này phương pháp BMA có vẻ khá tốt. Nếu bạn muốn làm cho nó dễ truy cập hơn, bạn luôn có thể đặt tên cho các biến hoặc một cái gì đó thay vì gọi chúng là và .$X$$y$

Mã R tôi sử dụng cho điều này được trình bày dưới đây. Hy vọng nó có thể truyền cảm hứng cho bạn!

# The sample size
n <- 100

# The 'true' coefficient vector
Beta <- cbind(c(-1.5, 0.45, -3))

# Generate the explanatory variables which have an effect on the outcome
set.seed(1)
X <- cbind(rnorm(n, 0, 1), rnorm(n, 4, 2), rnorm(n, 0.5, 1))

# Convert this into probabilities
prob <- 1/(1+exp(-X %*% Beta))

# Generate some uniform numbers. If the elements are smaller than the corresponding elements in the prob vector, then return 1.
set.seed(2)
runis <- runif(n, 0, 1)
y <- ifelse(runis < prob, 1, 0)

# Add the nonsense variables
X <- cbind(X, rpois(n, 3))        # Redundant variable 1 (x4)
X <- cbind(X, rexp(n, 10))        # Redundant variable 2 (x5)
X <- cbind(X, rbeta(n, 3, 10))    # Redundant variable 3 (x6)
X <- cbind(X, rbinom(n, 10, 0.5)) # Redundant variable 4 (x7)
X <- cbind(X, rpois(n, 40))       # Redundant variable 5 (x8)
X <- cbind(X, rgamma(n, 10, 20))  # Redundant variable 6 (x9)
X <- cbind(X, runif(n, 0, 1))     # Redundant variable 7 (x10)


# The BMA
library(BMA)
model <- bic.glm(X, y,  glm.family="binomial", factor.type=FALSE, thresProbne0 = 5, strict = FALSE)

# The frequentist model
model2 <- glm(y~X, family = "binomial")

old.par <- par()
par(mar=c(3,2,3,1.5))
plot(model, mfrow=c(2,5))
par(old.par)

summary(model)
summary(model2)

Một nguồn tài nguyên tuyệt vời cho việc này là:
Mô hình Bayes Trung bình với BMS của Stefan Zeugner (2012)

Nó đang sử dụng BMS gói R , thông tin thêm có thể được tìm thấy ở đây:
http://bms.zeugner.eu/

Hai hướng dẫn thực hành để tái tạo các ví dụ trong thế giới thực với gói có thể được tìm thấy ở đây:

• http://bms.zeugner.eu/tutorials/fls/
• http://bms.zeugner.eu/tutorials/fat/

Giới thiệu động lực chung và hiện tại hơn về các phương pháp Bayes là bài báo sau:

Thời gian đã đến: Phương pháp phân tích dữ liệu Bayes trong khoa học tổ chức của John K. Kruschke, Herman Aguinis và Harry Joo