Theo giả thuyết khống rằng các phân phối là như nhau và cả hai mẫu được lấy ngẫu nhiên và độc lập với phân phối chung, chúng ta có thể tìm ra kích thước của tất cả các phép thử (xác định) có thể được thực hiện bằng cách so sánh giá trị một chữ cái này với giá trị khác . Một số thử nghiệm này dường như có sức mạnh hợp lý để phát hiện sự khác biệt trong phân phối.5×5
Phân tích
Định nghĩa ban đầu về tóm tắt bản của bất kỳ lô số nào được đặt hàng là như sau [Tukey EDA 1977]:x 1 ≤ x 2 ≤ ⋯ ≤ x n5x1≤x2≤⋯≤xn
Với mọi số trong xác định{ ( 1 + 2 ) / 2 , ( 2 + 3 ) / 2 , Câu , ( n - 1 + n ) / 2 } x m = ( x i + x i + 1 ) / 2.m=(i+(i+1))/2{(1+2)/2,(2+3)/2,…,(n−1+n)/2}xm=(xi+xi+1)/2.
Đặt .i¯=n+1−i
Đặt vàh = ( ⌊ m ⌋ + 1 ) / 2.m=(n+1)/2h=(⌊m⌋+1)/2.
Các tóm tắt -letter là tập Các yếu tố của nó được gọi là bản lề tối thiểu, bản lề dưới, trung vị, bản lề trên và tối đa, tương ứng.{ X - = x 1 , H - = x h , M = x m , H + = x ˉ h , X + = x n } .5{X−=x1,H−=xh,M=xm,H+=xh¯,X+=xn}.
Ví dụ: trong lô dữ liệu chúng tôi có thể tính toán rằng , và , từ đâun = 12 m = 13 / 2 h = 7 / 2(−3,1,1,2,3,5,5,5,7,13,21)n=12m=13/2h=7/2
X−H−MH+X+=−3,=x7/2=(x3+x4)/2=(1+2)/2=3/2,=x13/2=(x6+x7)/2=(5+5)/2=5,=x7/2¯¯¯¯¯¯¯¯=x19/2=(x9+x10)/2=(5+7)/2=6,=x12=21.
Bản lề gần với (nhưng thường không hoàn toàn giống với) các tứ phân vị. Nếu các phần tư được sử dụng, lưu ý rằng nhìn chung chúng sẽ là phương tiện số học có trọng số của hai trong số các thống kê đơn hàng và do đó sẽ nằm trong một trong các khoảng trong đó có thể được xác định từ và thuật toán dùng để tính các tứ phân vị. Nói chung, khi nằm trong một khoảng tôi sẽ viết một cách lỏng lẻo để chỉ một số trung bình có trọng số như vậy của và .i n q [ i , i + 1 ] x q x i x i + 1[xi,xi+1]inq[i,i+1]xqxixi+1
Với hai lô dữ liệu và có hai tóm tắt năm chữ cái riêng biệt. Chúng ta có thể kiểm tra giả thuyết null rằng cả hai đều là các mẫu ngẫu nhiên của một phân phối chung bằng cách so sánh một trong các -letters với một trong các -letters . Chẳng hạn, chúng ta có thể so sánh bản lề trên của với bản lề dưới của để xem có nhỏ hơn đáng kể so với . Điều này dẫn đến một câu hỏi nhất định: làm thế nào để tính toán cơ hội này,( y j , j = 1 , Mạnh , m ) , F x x q y y r x y x y(xi,i=1,…,n)(yj,j=1,…,m),Fxxqyyrxyxy
PrF(xq<yr).
Đối với phân đoạn và này là không thể mà không biết . Tuy nhiên, vì và sau đó là một fortiorir F x q ≤ x ⌈ q ⌉ y ⌊ r ⌋ ≤ y r ,qrFxq≤x⌈q⌉y⌊r⌋≤yr,
PrF(xq<yr)≤PrF(x⌈q⌉<y⌊r⌋).
Do đó, chúng ta có thể có được giới hạn phổ quát (độc lập với ) về xác suất mong muốn bằng cách tính xác suất tay phải, so sánh thống kê đơn hàng riêng lẻ. Câu hỏi chung trước mặt chúng tôi làF
Cơ hội nào mà giá trị cao nhất của sẽ thấp hơn giá trị cao nhất của giá trị được rút ra từ một phân phối chung? n r th mqthnrthm
Ngay cả điều này không có câu trả lời chung trừ khi chúng ta loại trừ khả năng xác suất tập trung quá nhiều vào các giá trị riêng lẻ: nói cách khác, chúng ta cần cho rằng các mối quan hệ là không thể. Điều này có nghĩa là phải là một phân phối liên tục. Mặc dù đây là một giả định, nó là một yếu kém và nó không tham số.F
Giải pháp
Phân phối không có vai trò trong tính toán, vì khi biểu thị lại tất cả các giá trị bằng phương pháp biến đổi xác suất , chúng ta thu được các lô mớiFFF
X(F)=F(x1)≤F(x2)≤⋯≤F(xn)
và
Y(F)=F(y1)≤F(y2)≤⋯≤F(ym).
Hơn nữa, biểu thức lại này là đơn điệu và ngày càng tăng: nó bảo toàn trật tự và do đó, bảo tồn sự kiện Vì là liên tục, các lô mới này được rút ra từ phân phối Đồng nhất . Theo phân phối này - và loại bỏ " " hiện tại không cần thiết khỏi ký hiệu - chúng ta dễ dàng thấy rằng có phân phối Beta = Beta :F [ 0 , 1 ] F x q ( q , n + 1 - q ) ( q , ˉ q )xq<yr.F[0,1]Fxq(q,n+1−q)(q,q¯)
Pr(xq≤x)=n!(n−q)!(q−1)!∫x0tq−1(1−t)n−qdt.
Tương tự phân phối của là Beta . Bằng cách thực hiện tích hợp kép trên khu vực chúng tôi có thể có được xác suất mong muốn, ( r , m + 1 - r ) x q < y ryr(r,m+1−r)xq<yr
Pr(xq<yr)=Γ(m+1)Γ(n+1)Γ(q+r)3F~2(q,q−n,q+r; q+1,m+q+1; 1)Γ(r)Γ(n−q+1)
Bởi vì tất cả các giá trị là không thể tách rời, tất cả các giá trị thực sự chỉ là giai thừa: cho tích phân
Hàm ít được biết đến là hàm siêu bội hóa chính quy . Trong trường hợp này, nó có thể được tính là một tổng xen kẽ khá đơn giản của độ dài , được chuẩn hóa bởi một số giai thừa:gamma gamma ( k ) = ( k - 1 ) ! = ( k - 1 ) ( k - 2 ) ⋯ ( 2 ) ( 1 ) k ≥ 0. 3 ˜ F 2 n - q + 1n,m,q,rΓΓ(k)=(k−1)!=(k−1)(k−2)⋯(2)(1)k≥0.3F~2n−q+1
Γ(q+1)Γ(m+q+1) 3F~2(q,q−n,q+r; q+1,m+q+1; 1)=∑i=0n−q(−1)i(n−qi)q(q+r)⋯(q+r+i−1)(q+i)(1+m+q)(2+m+q)⋯(i+m+q)=1−(n−q1)q(q+r)(1+q)(1+m+q)+(n−q2)q(q+r)(1+q+r)(2+q)(1+m+q)(2+m+q)−⋯.
Điều này đã làm giảm việc tính toán xác suất thành không có gì phức tạp hơn phép cộng, phép trừ, phép nhân và phép chia. Nỗ lực tính toán quy mô là Bằng cách khai thác tính đối xứngO((n−q)2).
Pr(xq<yr)=1−Pr(yr<xq)
phép tính mới được chia tỷ lệ là cho phép chúng tôi chọn mức dễ dàng hơn của hai khoản tiền nếu chúng tôi muốn. Tuy nhiên, điều này sẽ hiếm khi cần thiết bởi vì tóm tắt bản có xu hướng chỉ được sử dụng cho các lô nhỏ, hiếm khi vượt quá5 n , m ≈ 300.O((m−r)2),5n,m≈300.
Ứng dụng
Giả sử hai lô có kích thước và . Thống kê đơn hàng liên quan cho và lần lượt là và . Dưới đây là bảng cơ hội với lập chỉ mục các hàng và lập chỉ mục các cột:m = 12 x y 1 , 3 , 5 , 7 , 8 1 , 3 , 6 , 9 , 12 , x q < y r q rn=8m=12xy1,3,5,7,81,3,6,9,12,xq<yrqr
q\r 1 3 6 9 12
1 0.4 0.807 0.9762 0.9987 1.
3 0.0491 0.2962 0.7404 0.9601 0.9993
5 0.0036 0.0521 0.325 0.7492 0.9856
7 0.0001 0.0032 0.0542 0.3065 0.8526
8 0. 0.0004 0.0102 0.1022 0.6
Mô phỏng 10.000 cặp mẫu iid từ phân phối chuẩn thông thường cho kết quả gần với các cặp này.
Để xây dựng thử nghiệm một phía ở kích thước chẳng hạn như để xác định xem lô có nhỏ hơn đáng kể so lô , hãy tìm các giá trị trong bảng này gần hoặc ngay dưới . Các lựa chọn tốt là tại trong đó cơ hội là tại với cơ hội và tại với cơ hội Cái nào để sử dụng phụ thuộc vào suy nghĩ của bạn về giả thuyết thay thế. Chẳng hạn, phép thử so sánh bản lề dưới của với giá trị nhỏ nhất củaα = 5 % , x y α ( q , r ) = ( 3 , 1 ) , 0,0491 , ( 5 , 3 ) 0,0521 ( 7 , 6 ) 0,0542. ( 3 , 1 ) x y y ( 7 , 6 ) x y y x x yα,α=5%,xyα(q,r)=(3,1),0.0491,(5,3)0.0521(7,6)0.0542.(3,1)xy và tìm thấy một sự khác biệt đáng kể khi bản lề thấp hơn là bản lề nhỏ hơn. Thử nghiệm này nhạy cảm với giá trị cực trị của ; nếu có một số lo ngại về dữ liệu bên ngoài, đây có thể là một thử nghiệm rủi ro để lựa chọn. Mặt khác, phép thử so sánh bản lề trên của với trung vị của . Giá trị này rất mạnh đối với các giá trị bên ngoài trong lô và mạnh mẽ vừa phải để vượt trội hơn . Tuy nhiên, nó so sánh giá trị giữa của với giá trị trung bình của . Mặc dù đây có thể là một so sánh tốt để thực hiện, nhưng nó sẽ không phát hiện ra sự khác biệt trong các bản phân phối chỉ xảy ra ở một trong hai đuôi.y(7,6)xyyxxy
Có thể tính toán các giá trị quan trọng này một cách phân tích giúp trong việc lựa chọn một bài kiểm tra. Khi một (hoặc một vài) bài kiểm tra được xác định, khả năng phát hiện các thay đổi của chúng có thể được đánh giá tốt nhất thông qua mô phỏng. Sức mạnh sẽ phụ thuộc rất nhiều vào cách phân phối khác nhau. Để hiểu được liệu các thử nghiệm này có sức mạnh nào không, tôi đã tiến hành thử nghiệm với rút ra từ phân phối Bình thường : nghĩa là trung vị của nó đã bị thay đổi bởi một độ lệch chuẩn. Trong một mô phỏng, thử nghiệm có ý nghĩa thời gian: đó là sức mạnh đáng kể cho các bộ dữ liệu nhỏ này.y j ( 1 , 1 ) 54,4 %(5,3)yj(1,1)54.4%
Nhiều hơn nữa có thể nói, nhưng tất cả đều là công cụ thường xuyên về việc tiến hành các thử nghiệm hai mặt, làm thế nào để đánh giá kích thước hiệu ứng, v.v. Điểm chính đã được chứng minh: đưa ra các bản tóm tắt (và kích thước) của hai lô dữ liệu, có thể xây dựng các thử nghiệm phi tham số mạnh mẽ hợp lý để phát hiện sự khác biệt trong quần thể cơ bản của chúng5 và trong nhiều trường hợp chúng ta thậm chí có thể có một số lựa chọn kiểm tra để lựa chọn. Lý thuyết được phát triển ở đây có một ứng dụng rộng rãi hơn để so sánh hai quần thể bằng phương pháp thống kê đơn hàng được lựa chọn phù hợp từ các mẫu của họ (không chỉ những người gần đúng với các bản tóm tắt thư).
Những kết quả này có các ứng dụng hữu ích khác. Ví dụ, boxplot là mô tả đồ họa của bản tóm tắt bản. Do đó, cùng với kiến thức về kích thước mẫu được hiển thị bởi boxplot, chúng tôi đã có sẵn một số thử nghiệm đơn giản (dựa trên việc so sánh các phần của một hộp và râu với một hộp khác) để đánh giá tầm quan trọng của sự khác biệt rõ ràng trong các ô đó.5