Khi nào nên ngừng tinh chỉnh một mô hình?


15

Tôi đã nghiên cứu số liệu thống kê từ nhiều cuốn sách trong 3 năm qua, và nhờ trang web này tôi đã học được rất nhiều. Tuy nhiên, một câu hỏi cơ bản vẫn chưa được trả lời cho tôi. Nó có thể có một câu trả lời rất đơn giản hoặc rất khó, nhưng tôi biết chắc chắn rằng nó đòi hỏi một số hiểu biết sâu sắc về thống kê.

Khi điều chỉnh mô hình cho dữ liệu, có thể là phương pháp thường xuyên hoặc phương pháp Bayes, chúng tôi đề xuất một mô hình, có thể bao gồm một dạng chức năng cho khả năng, trước đó hoặc hạt nhân (không tham số), v.v. Vấn đề là bất kỳ mô hình nào phù hợp với một mẫu với một số mức độ tốt. Người ta luôn có thể tìm thấy một mô hình tốt hơn hoặc xấu hơn so với những gì hiện có trong tay. Tại một số điểm, chúng tôi dừng lại và bắt đầu rút ra kết luận, khái quát hóa các tham số dân số, báo cáo khoảng tin cậy, tính toán rủi ro, v.v. Do đó, bất kỳ kết luận nào chúng tôi rút ra luôn có điều kiện trên mô hình mà chúng tôi quyết định giải quyết. Ngay cả khi chúng tôi đang sử dụng các công cụ để ước tính khoảng cách KL dự kiến ​​như AIC, MDL, v.v., nó không nói gì về việc chúng tôi đứng trên cơ sở tuyệt đối, mà chỉ cải thiện ước tính của chúng tôi trên cơ sở tương đối.

Bây giờ giả sử rằng chúng tôi muốn xác định quy trình từng bước để áp dụng cho bất kỳ tập dữ liệu nào khi xây dựng mô hình. Những gì chúng ta nên xác định như là một quy tắc dừng lại? Ít nhất chúng ta có thể ràng buộc lỗi mô hình sẽ cho chúng ta một điểm dừng khách quan (điều này khác với việc dừng đào tạo bằng cách sử dụng một mẫu xác nhận, vì nó cũng đưa ra một điểm dừng trong lớp mô hình được đánh giá thay vì viết DGP thực sự)?


1
Tôi nghĩ bạn nên thêm các thẻ khác vào câu hỏi thay vì chỉ suy luận, ví dụ như một số thẻ mô hình hóa và lựa chọn mô hình. Tôi nghĩ rằng nó có thể phù hợp với điều này cũng là dao cạo của Occam . Đây cũng là một bài báo thảo luận về nó mô hình Bayesian.
Gumeo

Đôi khi bạn xây dựng một mô hình cụ thể vì nó đặc biệt tốt cho việc ước tính các tham số nhất định, không phải vì bạn nghĩ rằng phân phối tổng thể là chính xác (xem ước lượng M, phương trình ước tính tổng quát), v.v. Vì vậy, nếu bạn thực sự quan tâm đến ước tính chính xác về vị trí, bạn có thể tốt hơn với một mô hình sai nhưng một mô hình không dễ bị nhiễu bởi tiếng ồn (đối với tham số quan tâm của bạn). Nói chung, xem Dự toán mạnh mẽ.

Câu hỏi rất thú vị. Chỉ cần một nhận xét rằng ít nhất là trong thiết lập Bayes một cũng đặt ra câu hỏi về tính trung bình trên tập hợp con hợp lý của các mô hình thay vì chọn một mô hình. Tôi không chắc chắn về bất kỳ cách lý thuyết nào cho câu hỏi của OP và tôi đoán thực tế nó được thực hiện bằng cách liệu mô hình được chọn có đủ tốt cho vấn đề chúng tôi đang cố gắng giải quyết hay không. Có lẽ chúng ta cần lựa chọn mô hình bằng các phương pháp MCMC hoặc đại loại như thế! Tôi có thể hình dung một cách tiếp cận MCMC lồng nhau cho điều này ...
Luca

@Luca Điều này đã được thực hiện. Tuy nhiên, vấn đề vẫn còn là không gian của các mô hình được xác định bởi Bayes trước có thể có hoặc không chứa mô hình thực sự. Ngay cả khi nó đã xảy ra lỗi mô hình vẫn còn đó, đó là lỗi của mô hình trung bình đối với DGP thực sự.
Cagdas Ozgenc

1
+1 cho câu hỏi. Phần lớn, mối quan tâm là triết học hoặc nhận thức luận, tức là, không chỉ "chúng ta biết gì và làm thế nào để biết nó" mà còn " chúng ta có thể biết gì và làm thế nào chúng ta có thể biết điều đó?" Như nhà vật lý Richard Feynman đã nói, "Không thể tìm được câu trả lời mà một ngày nào đó sẽ không bị phát hiện là sai." Nói cách khác và trừ khi bạn theo tôn giáo, có nghi ngờ hợp lý cho dù một sự thật không có căn cứ, vĩnh cửu tồn tại trên đó để neo bất cứ điều gì. .
Mike Hunter

Câu trả lời:


12

Thật không may, câu hỏi này không có câu trả lời tốt. Bạn có thể chọn mô hình tốt nhất dựa trên thực tế là nó giảm thiểu lỗi tuyệt đối, lỗi bình phương, tối đa hóa khả năng, sử dụng một số tiêu chí xử phạt khả năng (ví dụ AIC, BIC) để chỉ đề cập đến một vài lựa chọn phổ biến nhất. Vấn đề là cả hai tiêu chí đó sẽ không cho phép bạn chọn mô hình khách quan nhất, mà là mô hình tốt nhất mà bạn so sánh. Một vấn đề khác là trong khi tối ưu hóa, bạn luôn có thể kết thúc ở một số mức tối đa / tối thiểu cục bộ. Một vấn đề khác là sự lựa chọn của bạn về tiêu chí lựa chọn mô hình là chủ quan . Trong nhiều trường hợp bạn có ý thức, hoặc nửa tỉnh táo, hãy đưa ra quyết định về những gì bạn quan tâm và chọn tiêu chí dựa trên điều này. Ví dụ, sử dụng BIC thay vì AIC dẫn đến các mô hình khác biệt hơn, với ít tham số hơn. Thông thường, để mô hình hóa, bạn quan tâm đến các mô hình khác biệt hơn dẫn đến một số kết luận chung về vũ trụ, trong khi để dự đoán nó không phải như vậy và đôi khi mô hình phức tạp hơn có thể có sức mạnh dự đoán tốt hơn (nhưng không phải và thường xuyên nó không). Trong những trường hợp được nêu ra khác, các mô hình đôi khi phức tạp hơn được ưa thích cho thực tế lý do, ví dụ trong khi ước lượng mô hình Bayes với MCMC, mô hình với thứ bậc hyperpriors có thể cư xử tốt hơn trong mô phỏng hơn một các đơn giản hơn. Mặt khác, nói chung, chúng ta sợ quá mứcvà mô hình đơn giản hơn có nguy cơ quá mức thấp hơn, vì vậy nó là lựa chọn an toàn hơn. Một ví dụ điển hình cho việc này là một lựa chọn mô hình từng bước tự động thường không được khuyến nghị bởi vì nó dễ dẫn đến các ước tính quá mức và sai lệch. Ngoài ra còn có một lập luận triết học, dao cạo của Occam , rằng mô hình đơn giản nhất là mô hình được ưa thích. Cũng lưu ý rằng chúng ta đang thảo luận ở đây so sánh các mô hình khác nhau, trong khi trong các tình huống thực tế cũng có thể để sử dụng các công cụ thống kê khác nhau có thể dẫn đến các kết quả khác nhau - vì vậy có thêm một lớp lựa chọn phương pháp!

Tất cả điều này dẫn đến buồn, nhưng giải trí, thực tế là chúng ta không bao giờ có thể chắc chắn. Chúng tôi bắt đầu với sự không chắc chắn, sử dụng các phương pháp để đối phó với nó và chúng tôi kết thúc với sự không chắc chắn. Điều này có thể là nghịch lý, nhưng nhớ lại rằng chúng ta sử dụng số liệu thống kê bởi vì chúng ta tin rằng thế giới không chắc chắn và có xác suất (nếu không chúng ta sẽ chọn một nghề nghiệp của các nhà tiên tri), vậy làm thế nào chúng ta có thể kết thúc bằng những kết luận khác nhau? Không có quy tắc dừng khách quan, có nhiều mô hình có thể xảy ra, tất cả chúng đều sai (xin lỗi vì sự sáo rỗng!) Vì họ cố gắng đơn giản hóa thực tế phức tạp (liên tục thay đổi và xác suất). Chúng tôi tìm thấy một số trong số chúng hữu ích hơn những cái khác cho mục đích của chúng tôi và đôi khi chúng tôi làmθμ

Bạn có thể đi sâu hơn và phát hiện ra rằng không có thứ gọi là "xác suất" trong thực tế - đó chỉ là một sự gần đúng của sự không chắc chắn xung quanh chúng ta và cũng có những cách khác để xấp xỉ nó như logic mờ (xem Kosko, 1993 để thảo luận). Ngay cả các công cụ và định lý rất cơ bản mà các phương pháp của chúng tôi dựa trên cơ sở là gần đúng và không phải là những công cụ duy nhất có thể. Chúng tôi chỉ đơn giản là không thể chắc chắn trong một thiết lập như vậy.

Quy tắc dừng mà bạn đang tìm kiếm luôn luôn là vấn đề cụ thể và chủ quan, tức là dựa trên cái gọi là đánh giá chuyên nghiệp. Nhân tiện, có rất nhiều ví dụ nghiên cứu đã chỉ ra rằng các chuyên gia thường không giỏi hơn và đôi khi còn tệ hơn cả khả năng phán đoán của họ so với giáo dân (ví dụ như được hồi sinh trong các bài báo và sách của Daniel Kahneman ), trong khi thực sự dễ bị tự tin hơn (thực ra điều này một cuộc tranh luận về lý do tại sao chúng ta không nên cố gắng "chắc chắn" về các mô hình của mình).


Kosko, B. (1993). Tư duy mờ: khoa học mới của logic mờ. New York: Hyperion.


1
μ

1
Yêu cầu này là đúng khi các giả định của nó được thỏa mãn (ví dụ: chúng tôi được cung cấp một mẫu cố định, điều này đúng trong thực tế). Đưa ra khỏi bối cảnh và với các vi phạm giả định, tất nhiên nó có thể được làm sai.
Richard Hardy

1
@CagdasOzgenc là người có phương pháp để tạo ra một mô hình phản ánh hoàn hảo thực tế, hơn là không cần phải dừng quy tắc hoặc để đo lỗi mô hình - mô hình là hoàn hảo theo định nghĩa. Nếu bạn biết các quy tắc để xây dựng mô hình như vậy, không cần phải đo lường sự khác biệt của mô hình của bạn với DGP thực sự, vì biết DGP thực sự chỉ cần sử dụng kiến ​​thức như vậy. Mặt khác, nếu mô hình của bạn là đơn giản hóa dựa trên dữ liệu bạn có, thì các quy tắc thống kê chung sẽ được áp dụng, như được mô tả trong câu trả lời của tôi.
Tim

1
@CagdasOzgenc vẫn còn, nếu bạn biết "sự thật", hơn quy tắc dừng là đơn giản: dừng khi mô hình của bạn phù hợp với "sự thật". Nếu bạn không biết đâu là sự thật, thì "tất cả các mô hình đều [sai] như nhau ..." và bạn phải sử dụng số liệu thống kê. Nếu bạn không biết, bạn không thể đo lường sự khác biệt từ nó.
Tim

1
@Luca Nó có nghĩa là rất nhiều, nhưng nó là trừu tượng.
Tim

4

Có một lĩnh vực được gọi là thống kê phi tham số tránh sử dụng các mô hình mạnh. Tuy nhiên, mối quan tâm của bạn về các mô hình phù hợp, mỗi se, là hợp lệ. Thật không may, không có quy trình cơ học để phù hợp với các mô hình sẽ được chấp nhận phổ biến là "tối ưu". Ví dụ: nếu bạn muốn xác định mô hình tối đa hóa khả năng dữ liệu của mình, thì bạn sẽ được dẫn đến hàm phân phối theo kinh nghiệm.

Tuy nhiên, chúng ta thường có một số giả định và ràng buộc nền, chẳng hạn như liên tục với các khoảnh khắc thứ nhất và thứ hai hữu hạn. Đối với những trường hợp như thế này, một cách tiếp cận là chọn một biện pháp như Entropy Entropy của Shannon và tối đa hóa nó trong không gian phân phối liên tục thỏa mãn các ràng buộc ranh giới của bạn.

Điều tôi muốn chỉ ra là nếu bạn không muốn mặc định cho ECDF, thì bạn sẽ cần thêm các giả định, ngoài dữ liệu, để đạt được điều đó và đòi hỏi phải có chuyên môn về chủ đề, và, vâng , sự sợ hãi ..... đánh giá chuyên nghiệp

Vì vậy, có một điểm dừng được đảm bảo để mô hình hóa ... câu trả lời là không. Có một nơi đủ tốt để dừng lại? Nói chung là có, nhưng điểm đó sẽ phụ thuộc nhiều hơn vào dữ liệu và một số desiderata thống kê, bạn thường sẽ tính đến các rủi ro của các lỗi khác nhau, các hạn chế kỹ thuật để triển khai các mô hình và tính mạnh mẽ của các ước tính của nó, Vân vân.

Như @Luca đã chỉ ra, bạn luôn có thể trung bình trên một lớp các mô hình, nhưng, như bạn đã chỉ ra một cách chính xác, điều đó sẽ chỉ đẩy câu hỏi lên đến mức siêu âm tiếp theo. Thật không may, chúng ta dường như sống trong một hành tây nhiều lớp vô tận ... theo cả hai hướng!

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.