Tính giá trị p trong bootstrap được ghép nối


8

Tôi đã xem qua một bài báo mới từ nhóm Berkeley NLP về kiểm tra thống kê, Một cuộc điều tra theo kinh nghiệm về ý nghĩa thống kê trong NLP .

Có mã giả để tính giá trị p trong bài báo, về cơ bản, ý tưởng là tập hợp mẫu của được lấy mẫu với sự thay thế từ dữ liệu . Sau đóx1,x2,...,xNx

p-value=count(δ(xi)>2δ(x))/N , trong đó là mức tăng số liệu.δ(xi)

Tôi có thể hiểu công thức tính giá trị p trong bài kiểm tra ý nghĩa thống kê trên giấy của Koehn để đánh giá bản dịch máy , trong đó:

p-value=count(δa(xi)<δb(xi))/N, where δa and δb are the metric gain for system a and b respectively.

Is there any explanation or reference for the formula p-value=count(δ(xi)>2δ(x))/N. The authors also noted that if the mean of δ(xi) is δ(x) and δ(xi) is symmetric, then both formulas above are equivalent.

Câu trả lời:


1

As far as I understand from looking at section 2, the authors seem to explain their rationale for the bootstrap test as follows-

"the xi were sampled from x, and so their average δ(xi) won’t be zero like the null hypothesis demands; the average will instead be around δ(x)... The solution is a re-centering of the mean – we want to know how often A does more than δ(x) better than expected. We expect it to beat B by δ(x). Therefore, we count up how many of the xi have A beating B by at least δ(x)."

The authors want to test if the gain is non-zero so they write the p-value as δ(xi)<2δ(x) , which could be re-written as 0<2δ(x)δ(xi); because E[δ(xi)]=δ(x) the R.H.S. of the inequality then becomes δ(x), which is the H0 they were seeking to reject.

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.