Các biện pháp phức tạp của mô hình

19

Làm thế nào chúng ta có thể so sánh độ phức tạp của hai mô hình với cùng số lượng tham số?

Chỉnh sửa 19/9 : Để làm rõ, độ phức tạp của mô hình là thước đo mức độ khó để học từ dữ liệu hạn chế. Khi hai mô hình phù hợp với dữ liệu hiện có như nhau, một mô hình có độ phức tạp thấp hơn sẽ gây ra lỗi thấp hơn cho dữ liệu trong tương lai. Khi sử dụng xấp xỉ, điều này về mặt kỹ thuật có thể không phải lúc nào cũng đúng, nhưng điều đó không sao nếu nó có xu hướng đúng trong thực tế. Các xấp xỉ khác nhau cho các biện pháp phức tạp khác nhau

model-selection

— Ba Tư
nguồn

bạn có thể cung cấp thêm thông tin về những thuộc tính có sẵn về các mô hình không?

— shabbychef

Đây là một loại câu hỏi mở, vì vậy câu hỏi của tôi sẽ là - tôi cần loại thuộc tính nào để có thể đo lường độ phức tạp? Ở cấp độ cơ bản nhất, mô hình xác suất là một tập hợp các phân phối xác suất và tôi điều chỉnh mô hình phù hợp với dữ liệu bằng cách chọn thành viên phù hợp nhất

— Yaroslav Bulatov

3

Chính xác thì "phức tạp" là gì? (Đây không phải là một câu hỏi thiếu sót!) Trong trường hợp không có một định nghĩa chính thức, chúng ta không thể hy vọng sẽ đưa ra so sánh hợp lệ của một cái gì đó.

— whuber

Đó là những gì tôi đang hỏi về cơ bản

— Yaroslav Bulatov

2

Nhưng ít nhất bạn có thể cho chúng tôi một gợi ý về khía cạnh nào của một mô hình mà bạn đang cố gắng nắm bắt trong từ "độ phức tạp" không? Không có điều đó, câu hỏi này chỉ là mơ hồ để thừa nhận một câu trả lời hợp lý.

— whuber

12

Bên cạnh các biện pháp khác nhau về Độ dài mô tả tối thiểu (ví dụ: khả năng tối đa được chuẩn hóa, xấp xỉ thông tin Fisher), có hai phương pháp khác đáng được đề cập:

Bootstrap tham số . Việc thực hiện dễ dàng hơn nhiều so với các biện pháp MDL đòi hỏi khắt khe. Một bài báo hay là của Wagenmaker và các đồng nghiệp:
Wagenmakers, E.-J., Ratcliff, R., Gomez, P., & Iverson, GJ (2004). Đánh giá mô hình bắt chước bằng cách sử dụng bootstrap tham số . Tạp chí Tâm lý học toán học , 48, 28-50.
Trừu tượng:

Chúng tôi trình bày một quy trình lấy mẫu chung để định lượng mô phỏng mô hình, được định nghĩa là khả năng của một mô hình để tính toán dữ liệu được tạo bởi một mô hình cạnh tranh. Quy trình lấy mẫu này, được gọi là phương pháp khớp chéo bootstrap tham số (PBCM; xem Williams (Nhà thống kê JR. Soc. B 32 (1970) 350; Sinh trắc học 26 (1970) 23)), tạo ra sự phân phối về sự khác biệt về độ phù hợp dự kiến theo từng mô hình cạnh tranh. Trong phiên bản dữ liệu được thông báo của PBCM, các mô hình tạo có các giá trị tham số cụ thể thu được bằng cách khớp dữ liệu thử nghiệm đang được xem xét. Dữ liệu phân phối thông báo chênh lệch có thể được so sánh với sự khác biệt quan sát được về mức độ phù hợp để cho phép định lượng mức độ đầy đủ của mô hình. Trong phiên bản dữ liệu không xác định của PBCM, các mô hình tạo có phạm vi giá trị tham số tương đối rộng dựa trên kiến thức trước. Áp dụng cả dữ liệu được thông báo và dữ liệu PBCM không được thông báo được minh họa bằng một số ví dụ.

Cập nhật: Đánh giá mô hình bắt chước bằng tiếng Anh. Bạn lấy một trong hai mô hình cạnh tranh và chọn ngẫu nhiên một bộ tham số cho mô hình đó (có dữ liệu được thông báo hay không). Sau đó, bạn tạo dữ liệu từ mô hình này với bộ tham số đã chọn. Tiếp theo, bạn để cả hai mô hình phù hợp với dữ liệu được sản xuất và kiểm tra xem mô hình nào trong hai mô hình ứng cử viên phù hợp hơn. Nếu cả hai mô hình đều linh hoạt hoặc phức tạp như nhau, mô hình mà bạn tạo ra dữ liệu sẽ phù hợp hơn. Tuy nhiên, nếu mô hình khác phức tạp hơn, nó có thể phù hợp hơn, mặc dù dữ liệu được tạo ra từ mô hình khác. Bạn lặp lại điều này nhiều lần với cả hai mô hình (nghĩa là để cả hai mô hình tạo dữ liệu và xem cái nào trong hai mô hình phù hợp hơn). Mô hình "mặc" dữ liệu được tạo bởi mô hình kia là mô hình phức tạp hơn.
Xác thực chéo : Nó cũng khá dễ thực hiện. Xem câu trả lời cho câu hỏi này . Tuy nhiên, lưu ý rằng vấn đề với nó là sự lựa chọn trong số các quy tắc cắt mẫu (bỏ qua một lần, gấp K, v.v.) là một lựa chọn không được chấp nhận.

— Henrik
nguồn

Tôi không thực sự hiểu "mô hình bắt chước", nhưng xác nhận chéo dường như chỉ hoãn lại nhiệm vụ đánh giá sự phức tạp. Nếu bạn sử dụng dữ liệu để chọn các tham số và mô hình của mình như trong xác thực chéo, câu hỏi có liên quan sẽ là cách ước tính lượng dữ liệu cần thiết cho trình quản lý "meta" này để hoạt động tốt

— Yaroslav Bulatov

@Yaroslaw: Tôi không thực sự hiểu vấn đề của bạn với xác nhận chéo, nhưng thành thật mà nói tôi không phải là chuyên gia ở đó. Tuy nhiên, tôi thực sự muốn đưa ra một điểm để đo mô hình bắt chước. Do đó, xem câu trả lời cập nhật của tôi.

— Henrik

4

Tôi nghĩ rằng nó sẽ phụ thuộc vào thủ tục phù hợp mô hình thực tế. Đối với một biện pháp thường được áp dụng, bạn có thể xem xét Mức độ Tự do Tổng quát được mô tả trong Ye 1998 - về cơ bản là độ nhạy của thay đổi ước tính mô hình đối với nhiễu loạn quan sát - hoạt động khá tốt như là thước đo độ phức tạp của mô hình.

— ars
nguồn

Hừm ... bài báo nói về hồi quy, tôi tự hỏi liệu cái này có thể được sử dụng để ước tính xác suất rời rạc không. Ngoài ra, tôi không thực sự hiểu động cơ mà anh ấy mang lại cho nó - gdf là mức độ nhạy cảm của các tham số đối với những thay đổi nhỏ trong dữ liệu, nhưng tại sao nó lại quan trọng? Tôi có thể chọn một tham số hóa khác nhau trong đó những thay đổi nhỏ trong tham số trong tham số hóa ban đầu tương ứng với những thay đổi lớn trong tham số hóa mới, do đó, nó có vẻ nhạy cảm hơn với dữ liệu, nhưng đó là cùng một mô hình

— Yaroslav Bulatov

Yaroslav:> * Tôi có thể chọn một tham số hóa khác trong đó những thay đổi nhỏ trong tham số ban đầu tương ứng với những thay đổi lớn trong tham số hóa mới, vì vậy nó có vẻ nhạy cảm hơn với dữ liệu * bạn có thể đưa ra một ví dụ (liên quan đến công cụ ước lượng tương đương affine) không? Cảm ơn,

— user603

1

DoF trong hồi quy tuyến tính tìm ra dấu vết của ma trận mũ hoặc tổng của độ nhạy - vì vậy động lực / khái niệm không quá xa vời. Tibshirani & Knight đề xuất Tiêu chí Lạm phát hiệp phương sai, xem xét hiệp phương sai của ước tính mô hình thay vì độ nhạy. GDF dường như đã được áp dụng trong một số quy trình mô hình như ngưỡng và giỏ sóng (Bài viết về lựa chọn mô hình thích ứng có nhiều chi tiết hơn) và trong các phương pháp tập hợp để kiểm soát mức độ phức tạp, nhưng tôi không biết về bất kỳ trường hợp ước lượng rời rạc nào. Có thể đáng để thử ...

— ars

Không biết về "công cụ ước lượng tương đương affine", nhưng giả sử chúng ta dựa vào công cụ ước tính khả năng tối đa thay thế. Đặt q = f (p) trong đó f là một số mệnh đề. Đặt p0, q0 đại diện cho ước tính MLE trong tham số hóa tương ứng. p0, q0 sẽ có các phương sai tiệm cận khác nhau, nhưng về mặt mô hình hóa dữ liệu, chúng tương đương nhau. Vì vậy, câu hỏi được đưa ra - trong đó tham số hóa là độ nhạy của đại diện tham số của rủi ro dự kiến?

— Yar Tư Bulatov

4

Độ dài mô tả tối thiểu (MDL) và Độ dài tin nhắn tối thiểu (MML) chắc chắn đáng để kiểm tra.

Theo như MDL có liên quan, một bài báo đơn giản minh họa thủ tục Khả năng tối đa hóa bình thường (NML) cũng như xấp xỉ tiệm cận là:

S. de Rooij & P. Grünwald. Một nghiên cứu thực nghiệm về lựa chọn mô hình chiều dài mô tả tối thiểu với độ phức tạp tham số vô hạn. Tạp chí Tâm lý học toán học, 2006, 50, 180-192

Ở đây, họ xem xét độ phức tạp mô hình của phân phối Hình học so với phân phối Poisson. Một hướng dẫn tuyệt vời (miễn phí) về MDL có thể được tìm thấy ở đây .

Ngoài ra, một bài báo về sự phức tạp của phân bố mũ được kiểm tra bằng cả MML và MDL có thể được tìm thấy ở đây . Thật không may, không có hướng dẫn cập nhật về MML, nhưng cuốn sách là một tài liệu tham khảo tuyệt vời và rất được khuyến khích.

— emakalic
nguồn

1

Tôi đã đọc bài báo đó và có vẻ như Stochastic Complexity khắc phục vấn đề không thể phân biệt giữa các mô hình có cùng kích thước, nhưng đưa ra một vấn đề đôi khi không thể phân biệt giữa các mô hình có kích thước khác nhau. Phân phối hình học được gán độ phức tạp vô hạn, chắc chắn không phải là những gì chúng ta mong đợi cho một mô hình đơn giản như vậy!

— Yaroslav Bulatov

Điểm rất tốt về độ phức tạp ngẫu nhiên vô hạn (SC). Các giải pháp cho vấn đề SC vô hạn tồn tại, nhưng không thanh lịch lắm; Sự tái chuẩn hóa của Rissanen hoạt động tốt trong các mô hình tuyến tính, nhưng không dễ thực hiện đối với bài toán Poisson / Hình học. Mặc dù, mã hóa MML (hoặc SMML) của dữ liệu Poisson / Hình học là tốt.

— emakalic

3

Chiều dài mô tả tối thiểu có thể là một con đường đáng để theo đuổi.

— S. Kolassa - Tái lập Monica
nguồn

2

Chỉ cần lưu ý nhanh: độ dài mô tả tối thiểu rất mạnh mẽ và hữu ích, nhưng có thể mất nhiều thời gian để có được kết quả, đặc biệt là khi sử dụng khả năng tối đa được chuẩn hóa với bộ dữ liệu lớn hơn. Có lần tôi đã mất 10 ngày để chạy mã FORTRAN để lấy nó chỉ cho một mô hình

— Dave Kellen

2

Bởi "độ phức tạp của mô hình" người ta thường có nghĩa là sự phong phú của không gian mô hình. Lưu ý rằng định nghĩa này không phụ thuộc vào dữ liệu. Đối với các mô hình tuyến tính, sự phong phú của không gian mô hình được đo lường một cách tầm thường với sự giảm bớt của không gian. Đây là cái mà một số tác giả gọi là "bậc tự do" (mặc dù trong lịch sử, mức độ tự do được dành cho sự khác biệt giữa không gian mô hình và không gian mẫu). Đối với các mô hình phi tuyến tính, việc định lượng mức độ phong phú của không gian ít tầm thường hơn. Các bậc tự do tổng quát (xem câu trả lời của ars) là một biện pháp như vậy. Nó thực sự rất chung chung và có thể được sử dụng cho bất kỳ không gian mô hình "kỳ lạ" nào như cây, KNN và các lượt thích. Các chiều vc là biện pháp khác.

Như đã đề cập ở trên, định nghĩa về "độ phức tạp" này là độc lập với dữ liệu. Vì vậy, hai mô hình có cùng số lượng tham số sẽ có cùng "độ phức tạp".

— JohnRos
nguồn

1

Từ những bình luận của Yaroslav cho đến câu trả lời của Henrik:

nhưng xác nhận chéo dường như chỉ hoãn lại nhiệm vụ đánh giá sự phức tạp. Nếu bạn sử dụng dữ liệu để chọn tham số và mô hình của mình như trong xác thực chéo, câu hỏi có liên quan sẽ trở thành cách ước tính lượng dữ liệu cần thiết cho trình xử lý "meta" này để thực hiện tốt

$k$ $k$ $k$ $CV(k)$ $k$ $k$

Bạn thậm chí có thể đưa ra một hương vị 'ý nghĩa' cho điều này vì kết quả của thủ tục là trực tiếp về các điều khoản (đơn vị) khác biệt trong lỗi dự báo mẫu.

— người dùng603
nguồn

1

Tôi đồng ý rằng Xác thực chéo giải quyết vấn đề đo độ phức tạp của mô hình. Có thể tôi đang hỏi sai câu hỏi, bởi vì một câu hỏi thực tế là độ phức tạp mẫu của quy trình lắp. Người học được xác thực chéo sẽ thử các mô hình khác nhau và chọn mô hình có lỗi xác thực chéo thấp nhất. Bây giờ câu hỏi là - người học này có nhiều khả năng phù hợp hơn so với mô hình phù hợp với một mô hình duy nhất theo khả năng tối đa?

— Yar Tư Bulatov

Yaroslav Bulatov:> có nhưng bạn chỉ có thể sử dụng ML để so sánh các mô hình lồng nhau. Trong chừng mực mà bạn đã chỉ định (trong câu hỏi của bạn) đã đề cập các mô hình có cùng số lượng tham số, thì chúng không thể được lồng vào nhau.

— user603

Một vấn đề khác là việc xác thực chéo không làm tăng thêm sự hiểu biết của chúng tôi về độ phức tạp của mô hình. Các biện pháp như AIC / BIC cho thấy rõ rằng rất nhiều thông số khuyến khích quá mức. Bây giờ câu hỏi trở thành - những khía cạnh nào của mô hình bên cạnh khả năng tăng kích thước để phù hợp?

— Yar Tư Bulatov

Yaroslav:> Một lần nữa, điểm rất tốt.

— user603

Nếu quá mức là xu hướng của một quy trình phù hợp mô hình để phù hợp với nhiễu ngoài tín hiệu, thì chúng ta có thể xem xét một quy trình nhất định để xem những xu hướng như vậy có thể phát sinh. Có lẽ do thiếu trí tưởng tượng hoặc kiến thức, trong khi xem xét một vài quy trình khác nhau, tôi không thể hiểu điều này thành một thứ không thể gọi là "số tham số" (hay "số tham số hiệu quả"). Chúng ta có thể lật cái này lên đầu và hỏi: tất cả đều khác, điều gì xảy ra khi chúng ta giới thiệu nhiễu cho dữ liệu của mình? Sau đó, chúng tôi đến các biện pháp như GDF của Ye.

— ars

0

Còn tiêu chí thông tin để so sánh mô hình thì sao? Xem ví dụ: http://en.wikipedia.org/wiki/Akaike_inif_criterion

Độ phức tạp của mô hình ở đây là số lượng tham số của mô hình.

— Brause42
nguồn

AIC không phải là thước đo độ phức tạp của mô hình.

— Sven Hohenstein

@SvenHohenstein, từ câu cuối cùng của anh ấy, tôi tập hợp rằng anh ấy không gợi ý rằng chính AIC , là thước đo độ phức tạp của mô hình. Brause42, lưu ý rằng câu hỏi hỏi cụ thể về các mô hình có cùng số lượng tham số. Do đó, AIC sẽ giảm xuống SSE hoặc lệch lạc, hoặc bất cứ điều gì.

— gung - Phục hồi Monica