Lựa chọn biến Bayes - nó thực sự hoạt động?


14

Tôi nghĩ rằng tôi có thể chơi với một số lựa chọn biến Bayes, sau một bài đăng blog tốt đẹp và các giấy tờ được liên kết trong đó. Tôi đã viết một chương trình bằng rjags (nơi tôi khá là tân binh) và lấy dữ liệu giá cho Exxon Mobil, cùng với một số điều không thể giải thích về lợi nhuận của nó (ví dụ giá palladi) và những thứ khác có tương quan cao (như SP500 ).

Chạy lm(), chúng tôi thấy rằng có bằng chứng mạnh mẽ về một mô hình quá tham số, nhưng paladi chắc chắn nên được loại trừ:

Call:
lm(formula = Exxon ~ 0 + SP + Palladium + Russell + OilETF + 
    EnergyStks, data = chkr)

Residuals:
       Min         1Q     Median         3Q        Max 
-1.663e-03 -4.419e-04  3.099e-05  3.991e-04  1.677e-03 

Coefficients:
           Estimate Std. Error t value Pr(>|t|)    
SP          0.51913    0.19772   2.626 0.010588 *  
Palladium   0.01620    0.03744   0.433 0.666469    
Russell    -0.34577    0.09946  -3.476 0.000871 ***
OilETF     -0.17327    0.08285  -2.091 0.040082 *  
EnergyStks  0.79219    0.11418   6.938 1.53e-09 ***

Sau khi chuyển đổi thành trả về, tôi đã thử chạy một mô hình đơn giản như thế này

  model {
    for (i in 1:n) {
      mean[i]<-inprod(X[i,],beta)
      y[i]~dnorm(mean[i],tau)
    }
    for (j in 1:p) {
      indicator[j]~dbern(probindicator)
      betaifincluded[j]~dnorm(0,taubeta)
      beta[j] <- indicator[j]*betaifincluded[j]
    }
    tau~dgamma(1,0.01)
    taubeta~dgamma(1,0.01)
    probindicator~dbeta(2,8)
  }

nhưng tôi nhận thấy rằng, hầu như không phụ thuộc vào các tham số cho các bản phân phối gamma đã chọn, tôi đã nhận được các câu trả lời khá vô nghĩa, chẳng hạn như xác suất bao gồm 20% cho mỗi biến.

Tôi cũng có các hệ số hồi quy nhỏ, nhỏ, mà tôi sẵn sàng chịu đựng vì đây được coi là một mô hình lựa chọn, nhưng điều đó vẫn có vẻ kỳ lạ.

                              Mean        SD  Naive SE Time-series SE
SP         beta[1]       -4.484e-03   0.10999  0.003478       0.007273
Palladium  beta[2]        1.422e-02   0.16646  0.005264       0.011106
Russell    beta[3]       -2.406e-03   0.08440  0.002669       0.003236
OilETF     beta[4]       -4.539e-03   0.14706  0.004651       0.005430
EnergyStks beta[5]       -1.106e-03   0.07907  0.002500       0.002647
SP         indicator[1]   1.980e-01   0.39869  0.012608       0.014786
Palladium  indicator[2]   1.960e-01   0.39717  0.012560       0.014550
Russell    indicator[3]   1.830e-01   0.38686  0.012234       0.013398
OilETF     indicator[4]   1.930e-01   0.39485  0.012486       0.013229
EnergyStks indicator[5]   2.070e-01   0.40536  0.012819       0.014505
           probindicator  1.952e-01   0.11981  0.003789       0.005625
           tau            3.845e+03 632.18562 19.991465      19.991465
           taubeta        1.119e+02 107.34143  3.394434       7.926577

Là lựa chọn biến Bayes thực sự là xấu / nhạy cảm? Hay tôi đang làm cho một số lỗi rõ ràng?


5
Xin tha thứ cho sự thiếu hiểu biết của tôi; nhưng bằng chứng cho việc quá mức mà bạn đề cập đến là gì?
tò mò_cat

Bạn nên giải thích biến nào là đầu ra thứ hai. Tôi đã sử dụng lựa chọn biến Bayes cho nhiều vấn đề khác nhau và trong một số tình huống (bao gồm cả hồi quy), nó thường hoạt động khá tốt. Nhưng kết quả của bạn - đặc biệt là các ước tính - có vẻ kỳ lạ với tôi.
Glen_b -Reinstate Monica

@cpered_cat Bằng chứng cho việc quá mức là, ví dụ, trong hệ số âm giữa Exxon (một công ty dầu mỏ) và giá dầu. Nó phát sinh bởi vì tôi đã cố tình làm cho mô hình này trở thành nạn nhân của chứng đa hình . (Có lẽ "quá mức" là từ sai để mô tả nó - Tôi cho rằng quá tham số hóa là chính xác hơn).
Brian B

@BrianB Hệ số đó có trở nên tích cực không nếu bạn bỏ tất cả các biến giải thích trừ dầu? Chỉ tò mò thôi.
tò mò_cat

@cantly_cat Có, chắc chắn (khoảng 0,7). Đây là một trường hợp kinh điển của đa cộng đồng (một từ xấu xí khác).
Brian B

Câu trả lời:


3

Trong mã BUGS, mean[i]<-inprod(X[i,],beta)nênmean[i]<-inprod(X[i,],beta[]) .

Linh mục của bạn trên tau và taubeta là quá nhiều thông tin.

Bạn cần một thông tin không có thông tin trước khi đặt cược, sử dụng ví dụ như gamma(0.1,0.1)trên taubeta. Điều này có thể giải thích tại sao bạn nhận được hệ số hồi quy nhỏ.


Cảm ơn đã lưu ý rằng. Thật không may, nó đã không cải thiện tình hình.
Brian B

2

Nó hoạt động, nhưng bạn đã cho tất cả các chỉ số bao gồm biến phân phối giống nhau.

  model {
    for (i in 1:n) {
      mean[i]<-inprod(X[i,],beta)
      y[i]~dnorm(mean[i],tau)
    }
    for (j in 1:p) {
      indicator[j]~dbern(probindicator[j])
      probindicator[j]~dbeta(2,8)
      betaifincluded[j]~dnorm(0,taubeta)
      beta[j] <- indicator[j]*betaifincluded[j]
    }
    tau~dgamma(1,0.01)
    taubeta~dgamma(1,0.01)

  }

có thể hoạt động tốt hơn với một số lượng hạn chế.


Thử công thức này không hiệu quả hơn, ít nhất là 10000 mẫu.
Brian B

2

Nếu bạn đã sử dụng trả về nhật ký, thì bạn đã mắc một lỗi thiên vị nhẹ nhưng nếu bạn đã sử dụng giá trị tương lai chia cho giá trị hiện tại thì khả năng của bạn là sai. Trên thực tế, khả năng của bạn là sai trong cả hai trường hợp. Đó là sai đủ để quan trọng.

Xem xét rằng một thống kê là bất kỳ chức năng của dữ liệu. Trả về không phải là dữ liệu, chúng là các biến đổi của dữ liệu. Chúng là một giá trị tương lai chia cho một giá trị hiện tại. Giá là dữ liệu. Giá phải có chức năng phân phối, nhưng chức năng phân phối cho lợi nhuận phải phụ thuộc hoàn toàn vào bản chất của giá.

Đối với chứng khoán trong một cuộc đấu giá kép, không có "lời nguyền của người chiến thắng". Các hành vi hợp lý là để trả giá kỳ vọng của bạn. Với nhiều người mua và nhiều người bán, sổ giới hạn sẽ hội tụ vào phân phối bình thường vì nó là một bản phân phối kỳ vọng. Vì thếptnên được phân phối bình thường. Cũng thếpt+1nên được phân phối bình thường. Do đó lợi nhuận phải là tỷ lệ của

pt+1pt-1.

Hàm khả năng cho hồi quy của bạn nên có

1πσσ2+(y-β1x1-β2x2-βnxn-α)2.

OLS buộc phù hợp nhất với dữ liệu được quan sát ngay cả khi đó là giải pháp sai. Các phương thức Bayes cố gắng tìm hàm tạo dữ liệu thông qua khả năng. Bạn có khả năng sai, vì vậy nó không thể tìm thấy nó.

Tôi có một bài báo về điều này nếu bạn cần thêm thông tin.

BIÊN TẬP Tôi nghĩ rằng bạn đã hiểu lầm. Nếu bạn sẽ chuyển đổi khả năng thành một hàm mật độ và thực hiện kỳ ​​vọng, bạn sẽ thấy rằng nó không có. Bằng chứng của Augustin Cauchy vào năm 1852 hoặc có thể là 1851, bất kỳ hình thức giải pháp bình phương tối thiểu nào đều không chính xác. Nó sẽ luôn luôn thất bại. Không phải là bạn nên sử dụng hồi quy tiêu chuẩn vì Bayes rất nhạy cảm với khả năng, đó là Bayes là giải pháp khả dụng duy nhất được chấp nhận, với một số trường hợp ngoại lệ đặc biệt đối với một số trường hợp đặc biệt khác thường.

Khi làm bài kiểm tra thực nghiệm về điều này, và trước khi tôi đọc đủ toán, tôi ngây thơ nghĩ rằng giải pháp Bayes và giải pháp thường xuyên phải phù hợp. Có một xấp xỉ, một định lý nói rằng khi mẫu trở nên đủ lớn, cả hai sẽ hội tụ. Tôi đã sử dụng tất cả các giao dịch cuối ngày trong vũ trụ CRSP từ năm 1925-2013 để kiểm tra nó. Đó không phải là những gì định lý nói mặc dù. Tôi đã hiểu sai các quy tắc.

Tôi cũng đã thử vấn đề trong nhật ký và nó vẫn không khớp. Vì vậy, tôi nhận ra một cái gì đó, tất cả các phân phối là hình dạng, và vì vậy tôi đã xây dựng một giải pháp hình học để xác định giải pháp nào là chính xác. Tôi coi nó như một bài toán hình học thuần túy để xác định câu trả lời đại số nào khớp với dữ liệu.

Người Bayesian phù hợp. Điều này dẫn tôi xuống một con đường toán học vì tôi không thể hiểu tại sao công cụ ước lượng không thiên vị lại quá sai. Chỉ cần cho hồ sơ, sử dụng lợi nhuận phân tách trong giai đoạn 1925-2013 và loại bỏ các công ty vỏ bọc, quỹ đóng và vv, sự khác biệt giữa trung tâm của địa điểm là 2% và mức độ rủi ro được đánh giá thấp hơn 4% cho lợi nhuận hàng năm . Sự khác biệt này giữ dưới sự chuyển đổi nhật ký, nhưng vì một lý do khác. Nó có thể khác nhau cho các chỉ số riêng lẻ hoặc tập hợp con của dữ liệu.

Lý do cho sự khác biệt là hai lần. Đầu tiên là các bản phân phối liên quan thiếu một thống kê đầy đủ. Đối với một số loại vấn đề, điều này không thành vấn đề. Đối với các mục đích phóng chiếu, chẳng hạn như dự đoán hoặc phân bổ, tuy nhiên, chúng quan trọng khá nhiều. Lý do thứ hai là công cụ ước lượng không thiên vị luôn là một phiên bản của giá trị trung bình, nhưng phân phối không có nghĩa.

Mật độ trên không phải là thành viên của gia đình hàm mũ như phân phối gamma bình thường hoặc phân phối. Theo định lý Darmois của Pitman, Koopman, không có thống kê điểm nào đủ cho các tham số. Điều này ngụ ý rằng bất kỳ nỗ lực để tạo một công cụ ước tính điểm phải vứt bỏ thông tin. Đây không phải là vấn đề đối với các giải pháp Bayes vì ​​hậu thế là toàn bộ mật độ và nếu bạn cần ước tính điểm, bạn có thể tìm mật độ dự đoán và giảm thiểu hàm chi phí so với nó để giảm xuống một điểm. Khả năng Bayes luôn luôn là đủ tối thiểu.

Công cụ ước lượng không thiên vị tối thiểu cho hàm trên là giữ 24,6% trung tâm của dữ liệu, tìm giá trị trung bình được cắt và loại bỏ phần còn lại của dữ liệu. Điều đó có nghĩa là hơn 75% dữ liệu bị hủy và thông tin bị mất. Chỉ cần một lưu ý, nó có thể là 24,8%, vì tôi đang làm việc từ bộ nhớ. Bạn có thể tìm thấy bài viết của Rothenberg tại:

Rothenberg, TJ và FM Fisher, và CB Tilanus, Lưu ý về Ước tính từ một mẫu Cauchy, Tạp chí của Hiệp hội Thống kê Hoa Kỳ, 1964, tập 59 (306), trang 460-463

Vấn đề thứ hai là đáng ngạc nhiên đối với tôi. Cho đến khi tôi làm việc thông qua hình học, tôi không nhận ra nguyên nhân là gì. Trả về được ràng buộc ở dưới cùng ở mức -100%. Điều này làm thay đổi trung bình 2% và phạm vi liên vùng được thay đổi 4% mặc dù nửa khối lượng vẫn ở cùng một điểm. Nửa khối lượng là thước đo thích hợp của thang đo, nhưng nửa chiều rộng thì không. Nếu không có sự cắt bớt, thì nửa chiều rộng và nửa khối lượng sẽ ở cùng một điểm. Tương tự như vậy, trung vị và chế độ sẽ vẫn ở cùng một điểm. Trung vị là sự trở lại cho diễn viên trung bình hoặc ít nhất là giao dịch trung bình. Như vậy, nó luôn là vị trí của MVUE và ý nghĩa của nhật ký.

Hiểu đúng về định lý là tất cả các công cụ ước tính Bayes đều là công cụ ước tính được chấp nhận. Công cụ ước tính thường xuyên là công cụ ước tính được chấp nhận nếu một trong hai điều kiện đạt được. Đầu tiên là trong mọi mẫu, giải pháp Thường xuyên và Bayes giống hệt nhau. Thứ hai là nếu giải pháp giới hạn của phương pháp Bayes phù hợp với giải pháp Thường xuyên, thì giải pháp Thường xuyên được chấp nhận.

Tất cả các công cụ ước tính được chấp nhận đều hội tụ vào cùng một giải pháp khi kích thước mẫu đủ lớn. Công cụ ước tính tần số giả định rằng mô hình của nó là mô hình thực và dữ liệu là ngẫu nhiên. Bayesian giả định dữ liệu là đúng, nhưng mô hình là ngẫu nhiên. Nếu bạn có một lượng dữ liệu vô hạn, thì mô hình chủ quan phải hội tụ thành hiện thực. Nếu bạn có một lượng dữ liệu vô hạn, nhưng mô hình sai, thì mô hình Thường xuyên sẽ hội tụ thành hiện thực với xác suất bằng không.

Trong trường hợp này, giải pháp Bayes, dưới các linh mục hợp lý, sẽ luôn thống trị một cách ngẫu nhiên bất kỳ công cụ ước tính thường xuyên nào vì sự cắt xén và mất thông tin để tạo ra công cụ ước tính.

Trong nhật ký, hàm khả năng là phân phối hyperbolic secant. Nó có một phương sai hữu hạn, nhưng không có hiệp phương sai. Ma trận hiệp phương sai được tìm thấy bằng OLS là một tạo phẩm của dữ liệu và không trỏ đến một tham số tồn tại trong dữ liệu cơ bản. Như với dạng thô, không có gì trong biểu mẫu nhật ký, nhưng cũng không có gì độc lập. Thay vào đó, một mối quan hệ phức tạp hơn nhiều tồn tại vi phạm định nghĩa hiệp phương sai, nhưng trong đó họ có thể hôn mê.

Markowitz và Usman gần như đã tìm thấy nó trong công việc phân phối của họ, nhưng phân phối bảo mật hyperbol không thuộc họ Pearson và họ đã hiểu sai dữ liệu bằng cách không nhận thấy rằng khi bạn thay đổi phân phối từ dữ liệu thô sang dữ liệu nhật ký, bạn cũng thay đổi thuộc tính thống kê của nó . Về cơ bản họ đã phát hiện ra điều này nhưng đã bỏ lỡ nó vì họ không có lý do gì để tìm kiếm nó và họ đã không nhận ra những hậu quả không lường trước được của việc sử dụng nhật ký.

Tôi không có Markowitz và Usman trích dẫn với tôi nơi tôi đang ở, nhưng họ đã làm một trong số ít những công việc rất tốt trong việc ước tính phân phối ngoài kia.

Trong mọi trường hợp, tôi không sử dụng JAGS. Tôi không biết làm thế nào để làm điều đó. Tôi mã tất cả các MCMC của tôi làm việc bằng tay.

Tôi có một bài viết đầy đủ và chính xác hơn về chủ đề này tại:

Harris, DE (2017) Phân phối lợi nhuận. Tạp chí Tài chính toán học, 7, 769-804.

Nó sẽ cung cấp cho bạn một phương pháp để xây dựng các phân phối cho bất kỳ loại tài sản hoặc trách nhiệm nào, cũng như các tỷ lệ kế toán.

Tôi đã nói nhiều, nhưng tôi có thể thấy bạn đang hiểu nhầm mối quan hệ giữa phương pháp Bayes và Pearson-Neyman. Bạn đã có chúng đảo ngược. Bayes luôn hoạt động, nhưng bạn bị mắc kẹt với mật độ trước đó sẽ gây nhiễu cho giải pháp của bạn. Với một ưu tiên thích hợp, bạn được đảm bảo một công cụ ước tính thiên vị và đối với loại chức năng khả năng này, tôi tin rằng bạn phải sử dụng đúng trước khi đảm bảo tính tích hợp để thống nhất. Phương pháp thường xuyên là nhanh chóng và thường làm việc. Chúng không thiên vị, nhưng có thể không hợp lệ.


Sự khác biệt giữa logarit và lợi nhuận giá ở mức hàng ngày là khoảng 1 phần trong 500 (Tôi đã lấy 50 điểm cơ bản làm cơ sở). Cũng cần lưu ý rằng lợi nhuận hàng ngày, được đo theo một trong hai cách, khá xa so với phân phối thông thường (bất kể lý thuyết kinh tế ngược lại). Trong mọi trường hợp nếu thuật toán nhạy cảm với các vấn đề này, thì nó vô dụng cho các mục đích thực tế. Tôi muốn biết làm thế nào khả năng chức năng bạn trích dẫn ánh xạ tới mã JAGS - bạn có thể giải thích không?
Brian B

@BrianB Tôi đã chỉnh sửa câu trả lời. Bạn đang phạm sai lầm khi nghĩ rằng tôi đã làm. Tôi đã mất mãi mãi để tìm ra lý do tại sao tôi sai.
Dave Harris
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.