Liệu Parsimony có thực sự vẫn là tiêu chuẩn vàng?

Chỉ là một suy nghĩ:

Các mô hình phân tích luôn luôn là lựa chọn mặc định trong lựa chọn mô hình, nhưng phương pháp này đã lỗi thời ở mức độ nào? Tôi tò mò về xu hướng của chúng ta đối với sự kỳ thị là một di tích của thời đại abaci và các quy tắc trượt (hay nghiêm trọng hơn là các máy tính không hiện đại). Sức mạnh tính toán ngày nay cho phép chúng ta xây dựng các mô hình ngày càng phức tạp với khả năng dự đoán ngày càng lớn hơn. Kết quả của sự gia tăng trần trong sức mạnh tính toán này, liệu chúng ta có thực sự cần phải hướng đến sự đơn giản?

Chắc chắn, các mô hình đơn giản dễ hiểu và dễ hiểu hơn, nhưng trong thời đại các tập dữ liệu ngày càng phát triển với số lượng biến lớn hơn và chuyển sang tập trung nhiều hơn vào khả năng dự đoán, điều này thậm chí không còn có thể đạt được hoặc cần thiết.

Suy nghĩ?

Câu trả lời ban đầu của @ Matt thực hiện một công việc tuyệt vời khi mô tả một trong những lợi ích của sự kỳ thị nhưng tôi không nghĩ rằng nó thực sự trả lời câu hỏi của bạn. Trong thực tế, tiêu chuẩn không phải là tiêu chuẩn vàng. Không phải bây giờ cũng không bao giờ được. Một "tiêu chuẩn vàng" liên quan đến phân tích cú pháp là lỗi tổng quát hóa. Chúng tôi muốn phát triển các mô hình không phù hợp. Điều đó hữu ích cho dự đoán (hoặc có thể diễn giải hoặc có lỗi tối thiểu) ngoài mẫu như trong mẫu. Hóa ra (vì những điều được trình bày ở trên) rằng Parsimony thực sự là một proxy tốt cho lỗi tổng quát hóa nhưng không có nghĩa là nó là duy nhất.

Thực sự, suy nghĩ về lý do tại sao chúng tôi sử dụng xác nhận chéo hoặc bootstrapping hoặc đào tạo / kiểm tra bộ. Mục tiêu là tạo ra các mô hình với độ chính xác khái quát tốt. Rất nhiều thời gian, những cách ước tính hiệu suất mẫu này cuối cùng chọn những mô hình có độ phức tạp thấp hơn nhưng không phải lúc nào cũng vậy. Như một ví dụ cực đoan, hãy tưởng tượng nhà tiên tri trao cho chúng ta mô hình thực sự nhưng cực kỳ phức tạp và một mô hình nghèo nàn nhưng khó hiểu. Nếu phân tích thực sự là mục tiêu của chúng tôi thì chúng tôi sẽ chọn thứ hai nhưng trong thực tế, thứ nhất là những gì chúng tôi muốn học nếu có thể. Thật không may, rất nhiều thời gian mà câu cuối cùng là kicker, "nếu chúng ta có thể".

Các mô hình phân tích được mong muốn không chỉ do yêu cầu tính toán, mà còn vì hiệu suất tổng quát. Không thể đạt được lý tưởng về dữ liệu vô hạn bao phủ hoàn toàn và chính xác không gian mẫu, có nghĩa là các mô hình không phân tích có khả năng phù hợp quá mức và mô hình nhiễu hoặc các đặc điểm riêng trong quần thể mẫu.

Chắc chắn có thể xây dựng một mô hình với hàng triệu biến, nhưng bạn sẽ sử dụng các biến không có tác động đến đầu ra để mô hình hóa hệ thống. Bạn có thể đạt được hiệu suất dự đoán tuyệt vời trên tập dữ liệu đào tạo của mình, nhưng các biến không liên quan đó nhiều khả năng sẽ làm giảm hiệu suất của bạn trên một bộ kiểm tra không nhìn thấy.

Nếu một biến đầu ra thực sự là kết quả của một triệu biến đầu vào, thì bạn sẽ làm tốt việc đưa tất cả chúng vào mô hình dự đoán của mình, nhưng chỉ khi bạn có đủ dữ liệu . Để xây dựng chính xác mô hình có kích thước này, tối thiểu bạn cần vài triệu điểm dữ liệu. Các mô hình phân tích rất hay vì trong nhiều hệ thống trong thế giới thực, một bộ dữ liệu có kích thước này đơn giản là không có sẵn, và hơn nữa, đầu ra phần lớn được xác định bởi một số lượng biến tương đối nhỏ.

Tôi nghĩ rằng các câu trả lời trước làm tốt công việc đưa ra những điểm quan trọng:

• Các mô hình phân tích có xu hướng có đặc điểm khái quát tốt hơn.
• Parsimony không thực sự là một tiêu chuẩn vàng, mà chỉ là một sự cân nhắc.

Tôi muốn thêm một vài bình luận xuất phát từ kinh nghiệm làm việc hàng ngày của tôi.

Tất nhiên, khái quát của lập luận chính xác dự đoán là mạnh mẽ, nhưng thiên về học thuật trong trọng tâm của nó. Nói chung, khi sản xuất một mô hình thống kê, các nền kinh tế không vì thế mà hiệu suất dự đoán là một sự cân nhắc hoàn toàn chi phối. Rất thường có các ràng buộc bên ngoài lớn đối với mô hình hữu ích trông như thế nào đối với một ứng dụng nhất định:

• Mô hình phải được thực hiện trong khuôn khổ hoặc hệ thống hiện có.
• Mô hình phải được hiểu bởi một thực thể phi kỹ thuật.
• Mô hình phải được tính toán hiệu quả .
• Mô hình phải có tài liệu .
• Mô hình phải vượt qua các ràng buộc quy định .

Trong các lĩnh vực ứng dụng thực tế, nhiều người nếu không phải tất cả các cân nhắc này đến trước , không phải sau , hiệu suất dự đoán - và việc tối ưu hóa hình thức và tham số mô hình bị hạn chế bởi những mong muốn này. Mỗi trong số những ràng buộc này thiên vị nhà khoa học đối với sự kỳ thị.

Có thể đúng là trong nhiều lĩnh vực, những ràng buộc này đang dần được dỡ bỏ. Nhưng đó là nhà khoa học may mắn thực sự đã bỏ qua chúng đang tập trung hoàn toàn vào việc giảm thiểu lỗi tổng quát hóa.

Điều này có thể rất bực bội đối với nhà khoa học lần đầu tiên, mới ra trường (nó chắc chắn là dành cho tôi, và tiếp tục là khi tôi cảm thấy rằng những hạn chế đặt ra trong công việc của tôi là không chính đáng). Nhưng cuối cùng, làm việc chăm chỉ để tạo ra một sản phẩm không thể chấp nhận được là một sự lãng phí, và điều đó cảm thấy tồi tệ hơn sự tự hào về khoa học của bạn.

Tôi nghĩ rằng đây là một câu hỏi rất hay. Theo ý kiến ​​của tôi, Parsimony được đánh giá cao. Thiên nhiên hiếm khi đáng sợ, và vì vậy chúng ta không nhất thiết phải mong đợi các mô hình dự đoán hoặc mô tả chính xác là như vậy. Liên quan đến câu hỏi về tính giải nghĩa, nếu bạn chọn một mô hình đơn giản hơn, chỉ phù hợp với thực tế một cách khiêm tốn chỉ vì bạn có thể hiểu nó, thì chính xác thì bạn đang hiểu gì? Giả sử một mô hình phức tạp hơn có sức mạnh dự đoán tốt hơn, nó sẽ dường như gần với thực tế hơn.

Parsimony không phải là một khởi đầu vàng. Đó là một khía cạnh trong mô hình. Mô hình hóa và đặc biệt là dự báo không thể được viết kịch bản, tức là bạn không thể đưa kịch bản cho người lập mô hình để theo dõi. Bạn thay vì xác định các nguyên tắc mà theo đó quá trình mô hình hóa phải được dựa trên. Vì vậy, phân tích cú pháp là một trong những nguyên tắc này, ứng dụng không thể được viết kịch bản (một lần nữa!). Một người lập mô hình sẽ xem xét sự phức tạp khi chọn mô hình.

Sức mạnh tính toán có rất ít để làm với điều này. Nếu bạn ở trong ngành, các mô hình của bạn sẽ được tiêu thụ bởi những người kinh doanh, những người làm sản phẩm, bất cứ ai bạn gọi họ. Bạn phải giải thích mô hình của bạn cho họ, nó sẽ có ý nghĩa với họ. Có mô hình tuyệt vời giúp về vấn đề này.

Chẳng hạn, bạn đang dự báo doanh số sản phẩm. Bạn sẽ có thể mô tả các trình điều khiển bán hàng là gì và cách họ làm việc. Chúng phải liên quan đến các khái niệm mà doanh nghiệp hoạt động và các mối tương quan phải được hiểu và chấp nhận bởi doanh nghiệp. Với các mô hình phức tạp, có thể rất khó để diễn giải kết quả của mô hình hoặc thuộc tính sự khác biệt với thực tế. Nếu bạn không thể giải thích các mô hình của mình cho doanh nghiệp, bạn sẽ không được nó đánh giá cao.

Một điều nữa đặc biệt quan trọng để dự báo. Giả sử mô hình của bạn phụ thuộc vào N biến ngoại sinh. Điều này có nghĩa là trước tiên bạn phải có được các dự báo về các biến này để dự báo biến phụ thuộc của bạn. Có N nhỏ hơn làm cho cuộc sống của bạn dễ dàng hơn, vì vậy một mô hình đơn giản hơn sẽ dễ sử dụng hơn.

Có lẽ có một đánh giá về Tiêu chí Thông tin Akaike , một khái niệm mà tôi chỉ phát hiện ra bởi sự tình cờ ngày hôm qua. AIC tìm cách xác định mô hình nào và có bao nhiêu tham số là lời giải thích tốt nhất cho các quan sát trong tay, thay vì bất kỳ cách tiếp cận cơ bản nào của Occam, hoặc phương pháp phân tích cú pháp.