Điểm phân chia dữ liệu thành các phần đào tạo và kiểm tra để đánh giá các thuộc tính dự đoán khi chúng ta có AIC là gì?

Không có triệu chứng, tối thiểu hóa AIC tương đương với giảm thiểu MSE xác thực chéo một lần cho dữ liệu cắt ngang [ 1 ]. Vậy khi chúng ta có AIC, tại sao một người lại sử dụng phương pháp phân chia dữ liệu thành các tập huấn luyện, xác nhận và kiểm tra để đo các thuộc tính dự đoán của các mô hình? Những lợi ích cụ thể của thực hành này là gì?

Tôi có thể nghĩ ra một lý do: nếu người ta muốn đánh giá hiệu suất dự đoán của các mô hình, phân tích ngoài mẫu là hữu ích. Nhưng mặc dù AIC không phải là thước đo độ chính xác của dự báo , người ta thường có ý tưởng tốt nếu một mô hình nào đó đạt được tiềm năng tối đa (đối với dữ liệu được đưa ra) về mức độ bạn sẽ có thể dự đoán.

predictive-models aic

— Ero sennin
nguồn

Một đoạn trích từ tài liệu của sklearn : Lựa chọn mô hình dựa trên tiêu chí thông tin rất nhanh, nhưng nó dựa trên ước tính chính xác về mức độ tự do, được lấy từ các mẫu lớn (kết quả tiệm cận) và giả sử mô hình là chính xác, tức là dữ liệu thực sự là dữ liệu được tạo ra bởi mô hình này. Chúng cũng có xu hướng bị phá vỡ khi vấn đề được điều hòa kém (nhiều tính năng hơn mẫu).

— sascha

Tôi thực sự không nghĩ rằng AIC giả định một mô hình chính xác ( stats.stackexchange.com/questions/205222/ mẹo ). Về kích thước mẫu và AIC là kết quả tiệm cận: bạn sẽ không bao giờ chia dữ liệu của mình thành ba phần khi bạn có ít dữ liệu. Vì vậy, cỡ mẫu nhỏ là vấn đề đối với cả phân tích ngoài mẫu và AIC

— Erosennin

@sascha có một điểm ở đó: để AIC ước tính thông tin KL dự kiến. mất mát cũng là một trong những mô hình đã được khá tốt. Tôi không nghĩ có ai ủng hộ việc sử dụng AIC để so sánh các mô hình xấu để xem cái nào kém hơn.

— Scortchi - Phục hồi Monica

tr (J (θ_{0}) (I (θ_{0}))^{- 1}) \approx k

$\operatorname{tr}(J(\theta_0)(I(\theta_0))^{-1}) \approx k$ trong slide 10 mà @sascha liên kết đến. (Tôi chỉ tìm kiếm trên trang web của chúng tôi - chúng tôi dường như có rất nhiều khẳng định về AIC, và các tài liệu tham khảo có chứa nhiều xác nhận hơn, nhưng ít hơn. Từ bộ nhớ, Pawitan, Trong tất cả khả năng , & Burnham & Anderson, Lựa chọn mô hình , đưa ra các dẫn xuất .)

— Scortchi - Tái lập Monica

Ok, tôi đã bỏ qua phần TIC và bỏ lỡ phần đó. Bạn hoàn toàn đúng. Xin lỗi bạn @sascha, và cảm ơn bạn đã soi sáng cho tôi :) Vâng, tôi chỉ có một cái nhìn về Burnham & Anderson. Tài nguyên tuyệt vời!

— Erosennin

Trong thực tế, tôi luôn sử dụng xác thực chéo hoặc phân tách kiểm tra đào tạo đơn giản hơn là AIC (hoặc BIC). Tôi không quá quen thuộc với lý thuyết đằng sau AIC, nhưng hai mối quan tâm chính khiến tôi thích các ước tính trực tiếp hơn về độ chính xác dự đoán:

Con số không cho bạn biết nhiều về độ chính xác của một mô hình. AIC có thể cung cấp bằng chứng về mô hình nào trong số các mô hình là chính xác nhất, nhưng nó không cho bạn biết mô hình đó chính xác như thế nào trong các đơn vị của DV. Tôi hầu như luôn quan tâm đến các ước tính chính xác cụ thể của loại này, bởi vì nó cho tôi biết một mô hình hữu ích như thế nào về mặt tuyệt đối, và nó chính xác hơn bao nhiêu so với mô hình so sánh.
AIC, giống như BIC, cần cho mỗi mô hình một số tham số hoặc một số giá trị khác đo lường độ phức tạp của mô hình. Không rõ bạn nên làm gì cho việc này trong trường hợp các phương pháp dự đoán truyền thống ít hơn như phân loại hàng xóm gần nhất, rừng ngẫu nhiên hoặc phương pháp tập hợp mới kỳ quặc mà bạn đã viết nguệch ngoạc vào một chiếc khăn ăn cocktail giữa tháng trước. Ngược lại, ước tính độ chính xác có thể được tạo ra cho bất kỳ mô hình dự đoán nào và theo cùng một cách.

— Nhà quang học học
nguồn

+1 Tuyệt vời! # 2 là một cuộc tranh luận tuyệt vời! # 1 nhấn mạnh những gì tôi viết về AIC không phải là thước đo độ chính xác dự báo, điểm tuyệt vời! Tôi có thể hỏi làm thế nào bạn so sánh "nó chính xác hơn bao nhiêu so với mô hình so sánh" không? Gần đây tôi đã nghĩ về điều này khi so sánh MSE của hai mô hình. MSE của Model 1 và Model 2 lần lượt là 10 và 20. Làm cách nào để diễn giải Mô hình 1 chính xác hơn bao nhiêu ? Tôi nghĩ rằng nó không thể đơn giản như 20/10, bởi vì so sánh điều này phải / nên tính đến quy mô của DV?

— Erosennin

Tôi chỉ nhìn vào cả hai con số chính xác tương ứng (MSE hoặc bất cứ điều gì), thay vì cố gắng để làm cho một điểm so sánh. Ngoài ra, nó luôn giúp có điểm chính xác cho một mô hình tầm thường (nghĩa là một mô hình không sử dụng dự đoán) nếu đó chưa phải là một trong những mô hình mà bạn đang so sánh.

— Chuyên gia Kodi

(+1) Có một ngành công nghiệp tiểu thủ trong việc phát minh ra AIC hiệu quả, gần như AIC, và tương tự cho các tình huống không ước tính khả năng tối đa với số không cố định. thông số.

— Scortchi - Phục hồi Monica

@Kodiologist: Tôi nghĩ nó sẽ rất thú vị với điểm số so sánh. Bằng cách này, chúng ta có thể so sánh các mô hình được thực hiện trên các tập dữ liệu khác nhau, ví dụ: đánh giá hiệu suất của các mô hình cũ với các mô hình mới khi có dữ liệu mới.

— Erosennin

k = \sum_{i} \frac{\partial {\hat{y}}_{i}}{\partial y_{i}}

$k=\sum_i \frac{\partial \hat{y}_i}{\partial y_i}$