Lựa chọn biến so với lựa chọn Model

Vì vậy, tôi hiểu rằng lựa chọn biến là một phần của lựa chọn mô hình. Nhưng chính xác lựa chọn mô hình bao gồm những gì? Có nhiều hơn những điều sau đây:

1) chọn phân phối cho mô hình của bạn

2) chọn các biến giải thích ,?

Tôi hỏi điều này bởi vì tôi đang đọc một bài báo Burnham & Anderson: AIC vs BIC nơi họ nói về AIC và BIC trong việc lựa chọn mô hình. Đọc bài viết này tôi nhận ra rằng tôi đã nghĩ về 'lựa chọn mô hình' là 'lựa chọn biến' (tham khảo ý kiến BIC có cố gắng tìm một mô hình thực sự không? )

Một đoạn trích từ bài báo mà họ nói về 12 mô hình với mức độ "tổng quát" ngày càng tăng và các mô hình này cho thấy "hiệu ứng giảm dần" (Hình 1) khi KL-Information được vẽ theo 12 mô hình:

Các mô hình khác nhau và các mô hình mục tiêu ... Mặc dù mục tiêu của BIC là mô hình tổng quát hơn mô hình mục tiêu cho AIC, nhưng mô hình thường được BIC chọn ở đây sẽ ít tổng quát hơn Mô hình 7 trừ khi n rất lớn. Nó có thể là Mô hình 5 hoặc 6. Được biết (từ nhiều bài báo và mô phỏng trong tài liệu) rằng trong bối cảnh hiệu ứng giảm dần (Hình 1), AIC hoạt động tốt hơn BIC. Nếu đây là bối cảnh phân tích dữ liệu thực của một người, thì AIC nên được sử dụng.

Làm thế nào BIC có thể bao giờ chọn một mô hình phức tạp hơn AIC trong việc lựa chọn mô hình Tôi không hiểu! "Lựa chọn mô hình" cụ thể là gì và khi nào BIC đặc biệt chọn mô hình "tổng quát" hơn AIC?

Nếu chúng ta đang nói về lựa chọn biến, thì BIC chắc chắn phải luôn chọn mô hình có số lượng biến thấp nhất, đúng không? Thuật trong BIC sẽ luôn phạt các biến được thêm nhiều hơn thuật ngữ trong AIC. Nhưng điều này không phải là không có lý khi " mục tiêu của BIC là mô hình tổng quát hơn mô hình mục tiêu cho AIC$2ln(N)k$$2k$ "?

BIÊN TẬP :

Từ một cuộc thảo luận trong các ý kiến ​​trong Có bất kỳ lý do nào để thích AIC hoặc BIC hơn các ý kiến ​​khác không? chúng tôi thấy một cuộc thảo luận nhỏ giữa @Michael Chernick và @ user13273 trong các bình luận, khiến tôi tin rằng đây là một điều không tầm thường:

Tôi nghĩ sẽ phù hợp hơn khi gọi cuộc thảo luận này là lựa chọn "tính năng" hoặc lựa chọn "đồng biến". Đối với tôi, lựa chọn mô hình rộng hơn nhiều liên quan đến đặc điểm kỹ thuật phân phối lỗi, dạng hàm liên kết và dạng hiệp phương sai. Khi chúng ta nói về AIC / BIC, chúng ta thường ở trong tình huống tất cả các khía cạnh của việc xây dựng mô hình được cố định, ngoại trừ việc lựa chọn các hiệp phương sai. - user13273 ngày 13 tháng 8 năm 12 lúc 21:17

Việc quyết định các hiệp phương thức cụ thể để đưa vào một mô hình thường đi theo lựa chọn mô hình thuật ngữ và có một số sách có lựa chọn mô hình trong tiêu đề chủ yếu quyết định mô hình / tham số mô hình nào sẽ bao gồm trong mô hình. - Michael Chernick ngày 24 tháng 8 năm 12 lúc 14:44

Đôi khi các nhà lập mô hình tách lựa chọn biến thành một bước khác biệt trong phát triển mô hình. Ví dụ, trước tiên họ sẽ thực hiện phân tích thăm dò, nghiên cứu tài liệu học thuật và thực tiễn ngành công nghiệp sau đó đưa ra một danh sách các biến số ứng cử viên. Họ sẽ gọi bước này là lựa chọn biến .

Điều này tương tự như cách người học máy nói về kỹ thuật tính năng , khi họ đưa ra các biến. Bạn cắm các tính năng vào LASSO hoặc các khung tương tự nơi bạn xây dựng mô hình bằng các tính năng (biến) này. Trong ngữ cảnh này, sẽ hợp lý khi tách lựa chọn biến thành một bước riêng biệt, bởi vì bạn để thuật toán chọn hệ số đúng cho các biến và không loại bỏ bất kỳ biến nào. Phán đoán của bạn (liên quan đến biến nào đi vào mô hình) được phân lập trong bước chọn biến, phần còn lại tùy thuộc vào thuật toán phù hợp.

$m$