Có đúng là người Bayes không cần bộ thử nghiệm không?

Gần đây tôi đã xem bài nói chuyện này của Eric J. Ma và kiểm tra bài viết trên blog của anh ấy , nơi anh ấy trích dẫn Radford Neal, rằng các mô hình Bayes không phù hợp (nhưng chúng có thể quá phù hợp ) và khi sử dụng chúng, chúng tôi không cần các bộ kiểm tra để xác thực chúng (cho Tôi báo giá dường như nói về việc sử dụng bộ xác nhận để điều chỉnh các tham số). Thành thật mà nói, các lý lẽ không thuyết phục được tôi và tôi không có quyền truy cập vào cuốn sách, vì vậy bạn có thể đưa ra lập luận chi tiết và chặt chẽ hơn cho, hoặc chống lại tuyên bố đó không?

Nhân tiện, trong khi đó, Eric Ma đã chỉ cho tôi cuộc thảo luận này về cùng một chủ đề.

Nếu chúng ta sử dụng "một mô hình thực sự" và "các linh mục thực sự" phản ánh một số thông tin được nắm bắt một cách thích hợp, thì theo như tôi biết thì Bayesian thực sự không có vấn đề gì quá mức và phân phối dự báo sau được cung cấp rất ít dữ liệu sẽ không chắc chắn . Tuy nhiên, nếu chúng tôi sử dụng một số loại mô hình được chọn thực dụng (nghĩa là chúng tôi đã quyết định rằng ví dụ: tỷ lệ nguy hiểm là không đổi theo thời gian và một mô hình hàm mũ là phù hợp hoặc ví dụ như một số hiệp phương sai không nằm trong mô hình = điểm trước hệ số 0) với một số Mặc định các linh mục không thông tin hoặc chính quy hóa, sau đó chúng tôi thực sự không biết liệu điều này có còn được áp dụng hay không. Trong trường hợp đó, sự lựa chọn của các linh mục (siêu) có một số sự tùy tiện có thể dẫn đến kết quả tốt trong các dự đoán mẫu.

Vì vậy, sẽ rất hợp lý khi đặt câu hỏi liệu lựa chọn siêu tham số (= tham số của các siêu nhân) kết hợp với khả năng được chọn sẽ hoạt động tốt hay không. Trong thực tế, bạn có thể dễ dàng quyết định rằng đó là một ý tưởng tốt để điều chỉnh siêu âm của bạn để có được một số hiệu suất dự đoán mong muốn. Từ quan điểm đó, một bộ xác nhận (hoặc xác thực chéo) để điều chỉnh siêu âm và bộ kiểm tra để xác nhận hiệu suất có ý nghĩa hoàn hảo.

Tôi nghĩ rằng điều này có liên quan chặt chẽ với một số cuộc thảo luận của Andrew Gelman trên blog của anh ấy (xem ví dụ blog mục 1 , blog 2 , blog 3 về LOO cho Stan và thảo luận về kiểm tra dự đoán sau), nơi anh ấy thảo luận về những lo ngại của mình xung quanh (trong một số ý nghĩa chính xác) tuyên bố rằng một người Bayes không nên kiểm tra xem mô hình của họ có hợp lý hay không và về đánh giá mô hình Bayes thực tế.

Tất nhiên, chúng tôi thường rất quan tâm đến việc sử dụng các phương pháp Bayes trong các cài đặt, nơi có ít thông tin trước đó và chúng tôi muốn sử dụng các linh mục có nhiều thông tin. Tại thời điểm đó, có thể trở nên hơi khó khăn để có đủ dữ liệu để đi đến bất cứ nơi nào có xác nhận và đánh giá trên một bộ kiểm tra.

Vì vậy, tôi đã trả lời câu hỏi về việc quá mức mà bạn tham khảo và tôi đã xem video và đọc bài đăng trên blog. Radford Neal không nói rằng các người mẫu Bayes không quá phù hợp. Chúng ta hãy nhớ rằng quá mức là hiện tượng nhiễu được coi là tín hiệu và được đưa vào ước tính tham số. Đó không phải là nguồn duy nhất của lỗi lựa chọn mô hình. Cuộc thảo luận của Neal rộng hơn mặc dù bằng cách mạo hiểm với ý tưởng về một cỡ mẫu nhỏ, anh đã mạo hiểm tham gia vào cuộc thảo luận về tình trạng thừa.

Hãy để tôi sửa đổi một phần bài đăng trước đây của tôi rằng các mô hình Bayes có thể phù hợp với tất cả các mô hình Bayes quá phù hợp, nhưng làm như vậy theo cách cải thiện dự đoán. Một lần nữa, quay trở lại định nghĩa về tín hiệu khó hiểu với nhiễu, độ không đảm bảo trong các phương pháp Bayes, phân phối sau, là định lượng của độ không đảm bảo đó là tín hiệu và nhiễu là gì. Khi làm như vậy, các phương pháp Bayes đang đặt tạp âm vào các ước tính tín hiệu vì toàn bộ phần sau được sử dụng trong suy luận và dự đoán. Quá mức và các nguồn khác của lỗi phân loại mô hình là một loại vấn đề khác nhau trong các phương pháp Bayes.

Để đơn giản hóa, chúng ta hãy áp dụng cấu trúc nói chuyện của Ma và tập trung vào hồi quy tuyến tính và tránh thảo luận học sâu bởi vì, như ông chỉ ra, các phương pháp thay thế mà ông đề cập chỉ là các thành phần của hàm và có mối liên kết trực tiếp giữa logic của tuyến tính hồi quy và học sâu.

Hãy xem xét mô hình tiềm năng sau Cho phép tạo một mẫu rộng có kích thước bao gồm hai mẫu con, , trong đó là tập huấn luyện và là tập xác thực. Chúng ta sẽ thấy tại sao, theo một vài cảnh báo, các phương pháp Bayes không cần một bộ xác nhận và đào tạo riêng biệt.

$$y=\beta_0+\beta_1x_1+\beta_2x_2+\beta_3x_3.$$ $N$$n_1,n_2$$n_1$$n_2$

Đối với cuộc thảo luận này, chúng ta cần tạo thêm tám tham số, một tham số cho mỗi mô hình. Chúng là . Họ theo một phân phối đa quốc gia và có các linh mục thích hợp cũng như các hệ số hồi quy. Tám mô hình là và $m_1\dots{_8}$

$$y=\beta_0+\beta_1x_1+\beta_2x_2+\beta_3x_3,$$ $$y=\beta_0,$$ $$y=\beta_0+\beta_1x_1,$$ $$y=\beta_0+\beta_2x_2,$$ $$y=\beta_0+\beta_3x_3,$$ $$y=\beta_0+\beta_1x_1+\beta_2x_2,$$ $$y=\beta_0+\beta_1x_1+\beta_3x_3,$$ $$y=\beta_0+\beta_2x_2+\beta_3x_3,$$ $$y=\beta_0+\beta_1x_1,$$ $$y=\beta_0+\beta_2x_2,$$ $$y=\beta_0+\beta_3x_3.$$

Bây giờ chúng ta cần đi sâu vào sự khác biệt giữa các phương pháp Bayes và Thường xuyên. Trong tập huấn luyện, người lập mô hình sử dụng các phương thức Thường xuyên chỉ chọn một mô hình. Trình tạo mô hình sử dụng các phương thức Bayes không bị hạn chế. Mặc dù người lập mô hình Bayes có thể sử dụng tiêu chí lựa chọn mô hình để tìm chỉ một mô hình, nhưng họ cũng được tự do sử dụng tính trung bình của mô hình. Nhà mô hình Bayes cũng có thể tự do thay đổi các mô hình được chọn ở giữa dòng trong phân đoạn xác nhận. Moreso, người lập mô hình sử dụng các phương pháp Bayes có thể trộn và kết hợp giữa lựa chọn và tính trung bình.$n_1,$

Để đưa ra một ví dụ thực tế, tôi đã thử nghiệm 78 mô hình phá sản. Trong số 78 mô hình, xác suất sau kết hợp của 76 trong số đó là khoảng một phần mười của một phần trăm. Hai mô hình khác lần lượt là khoảng 54% và 46%. May mắn thay, họ cũng không chia sẻ bất kỳ biến. Điều đó cho phép tôi chọn cả hai mô hình và bỏ qua 76 mô hình khác. Khi tôi có tất cả các điểm dữ liệu cho cả hai, tôi đã tính trung bình các dự đoán của chúng dựa trên xác suất sau của hai mô hình, chỉ sử dụng một mô hình khi tôi thiếu các điểm dữ liệu loại trừ khác Mặc dù tôi đã có một bộ huấn luyện và bộ xác nhận, nhưng đó không phải là lý do tương tự mà một Người thường xuyên sẽ có chúng. Hơn nữa, vào cuối mỗi ngày trong hai chu kỳ kinh doanh, tôi đã cập nhật dữ liệu sau cho mỗi ngày. Điều đó có nghĩa là mô hình của tôi ở cuối tập xác thực không phải là mô hình ở cuối tập huấn luyện. Các mô hình Bayes không ngừng học hỏi trong khi các mô hình Thường xuyên làm.

Để đi sâu hơn, chúng ta hãy lấy bê tông với các mô hình của chúng tôi. Chúng ta hãy giả sử rằng trong mẫu đào tạo, mô hình Thường xuyên phù hợp nhất và mô hình Bayes sử dụng lựa chọn mô hình phù hợp hoặc, thay vào đó, trọng lượng mô hình trong tính trung bình của mô hình là rất lớn đến mức gần như không thể phân biệt được với mô hình Thường xuyên. Chúng tôi sẽ tưởng tượng mô hình này là Chúng ta cũng hãy tưởng tượng rằng mô hình thực sự trong tự nhiên là

$$y=\beta_0+\beta_1x_1+\beta_2x_2+\beta_3x_3.$$ $$y=\beta_0+\beta_1x_1+\beta_3x_3.$$

Bây giờ hãy xem xét sự khác biệt trong bộ xác nhận. Mô hình tần số được cung cấp quá mức cho dữ liệu. Giả sử rằng đến một lúc nào đó rằng quy trình lựa chọn hoặc xác nhận mô hình đã thay đổi lựa chọn thành mô hình thực trong tự nhiên. Hơn nữa, nếu tính trung bình của mô hình đã được sử dụng, thì mô hình thực sự trong tự nhiên mang trọng lượng trong dự đoán từ lâu trước khi lựa chọn mô hình bị cắt rõ ràng. ET Jaynes trong cuốn sách về lý thuyết xác suất dành thời gian để thảo luận về vấn đề này. Tôi có cuốn sách tại nơi làm việc vì vậy tôi không thể có được một trích dẫn hay, nhưng bạn nên đọc nó. Mã số của nó là 980-0521592710.$n_2^i$

Các mô hình là các tham số trong suy nghĩ Bayes và như vậy là ngẫu nhiên, hoặc nếu bạn muốn, không chắc chắn. Sự không chắc chắn đó không kết thúc trong quá trình xác nhận. Nó được cập nhật liên tục.

Do sự khác biệt giữa các phương pháp Bayes và Thường xuyên, nên có những loại trường hợp khác cũng phải được xem xét. Thứ nhất đến từ suy luận tham số, thứ hai từ dự đoán chính thức. Chúng không giống nhau trong các phương pháp Bayes. Phương pháp Bayes chính thức tách ra suy luận và ra quyết định. Họ cũng tách ra ước tính tham số và dự đoán.

Hãy tưởng tượng, không mất tính tổng quát, rằng một mô hình sẽ thành công nếu và một thất bại khác. Chúng tôi sẽ bỏ qua các tham số khác bởi vì nó sẽ có rất nhiều công việc bổ sung để có được một ý tưởng đơn giản. Đối với người lập mô hình sử dụng các phương thức Bayes, đây là một loại câu hỏi rất khác so với câu hỏi sử dụng các phương thức Thường xuyên.$\hat{\sigma^2}<k$

Đối với Người thường xuyên, một bài kiểm tra giả thuyết được hình thành dựa trên tập huấn luyện. Nhà mô hình hóa sử dụng các phương thức Thường xuyên sẽ kiểm tra xem phương sai ước tính lớn hơn hoặc bằng và cố gắng từ chối null trên mẫu có kích thước là bằng cách sửa các tham số cho các tham số được phát hiện trong .$k$$n_2$$n_1$

Đối với nhà tạo mô hình sử dụng các phương thức Bayes, họ sẽ hình thành các ước tính tham số trong khoảng từ mẫu và mật độ sau của sẽ trở thành ưu tiên cho mẫu . Giả sử tài sản có thể trao đổi được giữ, thì chắc chắn rằng ước tính sau của là bằng nhau trong tất cả các nghĩa của từ ước tính xác suất được hình thành từ mẫu chung. Việc tách chúng thành hai mẫu tương đương với lực lượng toán học để không phân tách chúng chút nào.n 1 n 2 n $n_1$$n_1$$n_2$$n_2$

Đối với dự đoán, một vấn đề tương tự giữ. Các phương pháp Bayes có phân phối dự đoán cũng được cập nhật với mỗi quan sát, trong khi phương pháp Thường xuyên bị đóng băng ở cuối mẫu . Mật độ dự đoán có thể được viết là . Nếu là dự đoán và là mẫu, thì các tham số sẽ được biểu thị ở đâu Pr ( ~ x = k | X ) ~ x X θ $n_1$$\Pr(\tilde{x}=k|\mathbf{X})$$\tilde{x}$$\mathbf{X}$$\theta?$ Mặc dù các hệ thống dự đoán thường xuyên tồn tại, hầu hết mọi người chỉ coi các ước tính điểm là các tham số thực và tính toán dư. Các phương pháp Bayes sẽ ghi điểm từng dự đoán so với mật độ dự đoán thay vì chỉ một điểm duy nhất. Các dự đoán này không phụ thuộc vào các tham số khác với các phương pháp điểm được sử dụng trong các giải pháp Thường xuyên.

Một lưu ý phụ, mật độ dự đoán thường xuyên chính thức tồn tại bằng cách sử dụng các lỗi tiêu chuẩn và việc ghi điểm có thể được thực hiện trên chúng, nhưng điều này rất hiếm trong thực tế. Nếu không có kiến ​​thức cụ thể trước đó, thì hai bộ dự đoán phải giống hệt nhau cho cùng một tập hợp các điểm dữ liệu. Chúng sẽ kết thúc khác nhau vì và do đó, giải pháp Bayes sẽ cung cấp thêm thông tin.$n_1+n_2>n_1$

Nếu không có thông tin trước về vật chất và nếu mật độ dự đoán thường xuyên được sử dụng thay vì ước tính điểm, thì đối với một mẫu cố định, kết quả của phương pháp Bayesian và tần số sẽ giống hệt nhau nếu một mô hình duy nhất được chọn. Nếu có thông tin trước, thì phương pháp Bayes sẽ có xu hướng tạo ra các dự đoán chính xác hơn. Sự khác biệt này có thể rất lớn trong thực tế. Hơn nữa, nếu có trung bình mô hình, thì có khả năng phương pháp Bayes sẽ mạnh hơn. Nếu bạn sử dụng lựa chọn mô hình và đóng băng các dự đoán Bayes, thì không có sự khác biệt nào khi sử dụng mô hình Thường xuyên sử dụng các dự đoán Thường xuyên.

Tôi đã sử dụng một bộ kiểm tra và xác nhận vì dữ liệu của tôi không thể trao đổi. Kết quả là, tôi cần phải giải quyết hai vấn đề. Đầu tiên là tương tự như burn-in trong các phương thức MCMC. Tôi cần một bộ ước tính tham số tốt để bắt đầu chuỗi thử nghiệm của mình và vì vậy tôi đã sử dụng năm mươi năm dữ liệu trước để có được mật độ trước tốt để bắt đầu kiểm tra xác thực của mình. Vấn đề thứ hai là tôi cần một số dạng thời gian chuẩn hóa để kiểm tra để bài kiểm tra không bị nghi ngờ. Tôi đã sử dụng hai chu kỳ kinh doanh trước đó theo ngày của NBER.