Kiểm tra giả thuyết phân phối - quan điểm của việc thực hiện là gì nếu bạn không thể chấp nhận Giả thuyết khống của bạn?

Các thử nghiệm giả thuyết khác nhau, chẳng hạn như thử nghiệm GOF, Kolmogorov-Smirnov, Anderson-Darling, v.v., tuân theo định dạng cơ bản này:$\chi^{2}$

$H_0$ : Dữ liệu tuân theo phân phối đã cho.

$H_1$ : Dữ liệu không tuân theo phân phối đã cho.

Thông thường, người ta đánh giá tuyên bố rằng một số dữ liệu đã cho tuân theo một số phân phối nhất định và nếu một từ chối , dữ liệu không phù hợp với phân phối đã cho ở mức .$H_0$$\alpha$

Nhưng nếu chúng ta không từ chối thì sao? Tôi đã luôn được dạy rằng người ta không thể "chấp nhận" , vì vậy về cơ bản, chúng tôi không có bằng chứng để từ chối . Đó là, không có bằng chứng cho thấy chúng tôi từ chối rằng dữ liệu tuân theo phân phối nhất định.H 0 H $H_0$$H_0$$H_0$

Vì vậy, câu hỏi của tôi là, điểm thực hiện kiểm tra như vậy là gì nếu chúng ta không thể kết luận liệu dữ liệu có tuân theo phân phối nhất định không?

Nói rộng ra (không chỉ là kiểm tra mức độ phù hợp, mà trong nhiều tình huống khác), bạn chỉ đơn giản là không thể kết luận rằng null là đúng, bởi vì có những lựa chọn thay thế không thể phân biệt được với null ở bất kỳ cỡ mẫu nào.

Đây là hai bản phân phối, một tiêu chuẩn thông thường (đường liền nét màu xanh lá cây) và một phân phối tương tự (90% tiêu chuẩn bình thường và 10% beta tiêu chuẩn (2,2), được đánh dấu bằng một đường đứt nét màu đỏ):

Cái màu đỏ không bình thường. Khi nói , chúng ta có rất ít cơ hội phát hiện ra sự khác biệt, vì vậy chúng ta không thể khẳng định rằng dữ liệu được rút ra từ một phân phối bình thường - nếu nó là từ một phân phối không bình thường như phân phối màu đỏ thì sao?$n=100$

Các phân số nhỏ hơn của betas được tiêu chuẩn hóa với các tham số bằng nhau nhưng lớn hơn sẽ khó thấy hơn so với bình thường.

Nhưng do dữ liệu thực tế hầu như không bao giờ từ một phân phối đơn giản nào đó, nếu chúng ta có một nhà tiên tri hoàn hảo (hoặc kích thước mẫu vô hạn hiệu quả), về cơ bản chúng ta sẽ luôn bác bỏ giả thuyết rằng dữ liệu là từ một dạng phân phối đơn giản.

Như George Box nổi tiếng đã nói , " Tất cả các mô hình đều sai, nhưng một số mô hình là hữu ích. "

Xem xét, ví dụ, kiểm tra tính bình thường. Nó có thể là dữ liệu thực sự đến từ một cái gì đó gần với bình thường, nhưng liệu chúng có bao giờ chính xác bình thường? Họ có lẽ không bao giờ được.

Thay vào đó, điều tốt nhất bạn có thể hy vọng với hình thức kiểm tra đó là tình huống bạn mô tả. (Xem, ví dụ, bài đăng Kiểm tra tính quy phạm về cơ bản là vô dụng?, Nhưng có một số bài đăng khác ở đây tạo ra các điểm liên quan)

$F$

Hãy xem xét hình ảnh trên một lần nữa. Phân phối màu đỏ là không bình thường và với một mẫu thực sự lớn, chúng tôi có thể từ chối kiểm tra tính quy phạm dựa trên mẫu từ nó ... nhưng với kích thước mẫu nhỏ hơn nhiều, hồi quy và hai thử nghiệm t mẫu (và nhiều thử nghiệm khác bên cạnh đó) sẽ hành xử độc đáo đến mức khiến nó trở nên vô nghĩa khi thậm chí lo lắng về tính phi quy tắc đó dù chỉ một chút.

$\mu=\mu_0$

Bạn có thể chỉ định một số dạng sai lệch cụ thể và xem xét một số thứ như kiểm tra tương đương, nhưng nó rất khó với sự phù hợp bởi vì có rất nhiều cách để phân phối gần nhưng khác với cách giả định và khác các hình thức khác biệt có thể có tác động khác nhau đến phân tích. Nếu lựa chọn thay thế là một họ rộng hơn bao gồm null như một trường hợp đặc biệt, thì thử nghiệm tương đương có ý nghĩa hơn (ví dụ thử nghiệm theo cấp số nhân với gamma) - và thực tế, phương pháp "thử nghiệm hai phía" mang lại, và điều đó có thể là một cách để chính thức hóa "đủ gần" (hoặc sẽ là nếu mô hình gamma là đúng, nhưng trên thực tế, chính nó sẽ gần như chắc chắn bị từ chối bởi một thử nghiệm phù hợp thông thường,

Mức độ tốt của kiểm tra sự phù hợp (và thường rộng hơn, kiểm tra giả thuyết) thực sự chỉ phù hợp với một phạm vi tình huống khá hạn chế. Câu hỏi mà mọi người thường muốn trả lời không quá chính xác, nhưng hơi mơ hồ và khó trả lời hơn - nhưng như John Tukey đã nói, " Tốt hơn là một câu trả lời gần đúng cho câu hỏi đúng, thường mơ hồ, hơn là một câu trả lời chính xác cho câu hỏi sai, luôn luôn có thể được thực hiện chính xác. "

Các cách tiếp cận hợp lý để trả lời câu hỏi mơ hồ hơn có thể bao gồm các điều tra mô phỏng và lấy mẫu lại để đánh giá mức độ nhạy cảm của phân tích mong muốn đối với giả định mà bạn đang xem xét, so với các tình huống khác cũng phù hợp với dữ liệu có sẵn.

$\varepsilon$

$P$-giá trị ít hữu ích hơn họ có vẻ. Ước tính thường là một cách tiếp cận tốt hơn ngay cả trong đánh giá mức độ phù hợp. Người ta có thể sử dụng khoảng cách Kolmogorov - Smirnov làm thước đo. Thật khó để sử dụng nó mà không có lỗi. Một cách tiếp cận thận trọng sẽ lấy giới hạn tin cậy trên của khoảng cách KS để hướng dẫn mô hình hóa. Điều này sẽ (đúng) dẫn đến rất nhiều sự không chắc chắn, điều này có thể khiến người ta kết luận rằng việc chọn một phương pháp mạnh mẽ ngay từ đầu được ưu tiên. Với ý nghĩ đó và quay trở lại mục tiêu ban đầu, khi người ta so sánh phân phối theo kinh nghiệm với hơn 2 dạng tham số có thể, phương sai thực sự của phân phối được trang bị cuối cùng không có độ chính xác tốt hơn hàm phân phối tích lũy theo kinh nghiệm. Vì vậy, nếu không có lý thuyết chủ đề để thúc đẩy lựa chọn phân phối,

Một quan điểm tôi nghĩ được chia sẻ bởi hầu hết mọi người là thử nghiệm giả thuyết là một sự thích ứng xác suất của nguyên tắc giả mạo .

Nếu một giả thuyết tồn tại tiếp tục và những nỗ lực nghiêm trọng để làm sai lệch nó, thì nó đã "chứng minh được khí phách" và có thể được chấp nhận tạm thời, nhưng nó không bao giờ có thể được thiết lập một cách thuyết phục.

$H_0$$H_0$$H_0$

Tôi nghĩ rằng đây là một ví dụ hoàn hảo để minh họa sự khác biệt giữa công việc học tập và ra quyết định thực tế. Trong môi trường học thuật (nơi tôi đang ở), bạn có thể tranh luận bất kỳ cách nào bạn muốn miễn là nó được người khác cho là hợp lý. Do đó, về cơ bản, chúng ta kết thúc với việc có những món hời vô tận, đôi khi tròn trịa với nhau. Theo nghĩa đó, điều này cung cấp cho mọi người một cái gì đó để làm việc.

Tuy nhiên, nếu bạn thực sự ở một vị trí để thực sự đưa ra quyết định, thì câu trả lời là có hoặc không. Sự thiếu quyết đoán sẽ làm tổn hại danh tiếng của bạn như một người ra quyết định. Tất nhiên, việc đưa ra lựa chọn không chỉ liên quan đến thống kê mà đôi khi còn là yếu tố đánh bạc và nhảy vọt niềm tin. Tóm lại, loại bài tập này ở một mức độ nào đó hữu ích cho việc ra quyết định. Tuy nhiên, liệu chỉ dựa vào quyết định của bạn trong bài kiểm tra giả thuyết này là một câu chuyện hoàn toàn khác.

Vấn đề là từ quan điểm thống kê thuần túy, bạn không thể chấp nhận , nhưng trong thực tế, bạn làm. Ví dụ, nếu bạn đang ước tính rủi ro của danh mục đầu tư bằng cách sử dụng rủi ro giá trị hoặc các biện pháp tương tự, phân phối lợi nhuận của danh mục đầu tư là khá quan trọng. Đó là bởi vì rủi ro được xác định bởi đuôi phân phối của bạn.

Trong các trường hợp sách giáo khoa, phân phối bình thường thường được sử dụng cho các ví dụ. Tuy nhiên, nếu lợi nhuận danh mục đầu tư của bạn có đuôi béo (mà họ thường làm), thì xấp xỉ phân phối bình thường sẽ đánh giá thấp các rủi ro. Do đó, điều quan trọng là kiểm tra lợi nhuận và quyết định xem bạn sẽ sử dụng xấp xỉ bình thường hay không. Lưu ý, điều này không nhất thiết có nghĩa là chạy các kiểm tra thống kê, nó có thể là các lô QQ hoặc các phương tiện khác. Tuy nhiên, bạn phải đưa ra quyết định tại một số điểm dựa trên phân tích lợi nhuận và mô hình hoàn trả của bạn và sử dụng bình thường hoặc không.

Do đó, cho tất cả các mục đích thực tế không từ chối thực sự có nghĩa là chấp nhận mặc dù không theo nghĩa thống kê nghiêm ngặt. Bạn sẽ chấp nhận bình thường và sử dụng nó trong tính toán của mình, điều này sẽ được trình bày cho quản lý cấp trên hàng ngày, cho các nhà quản lý, kiểm toán viên của bạn, v.v. Việc không từ chối trong trường hợp này có ảnh hưởng sâu rộng theo mọi nghĩa, vì vậy nó là như vậy hoặc mạnh hơn kết quả thống kê ngớ ngẩn.

Không có bị cáo tại tòa là vô tội. Họ có tội (từ chối giả thuyết vô tội) hoặc không có tội (không từ chối giả định vô tội).

Không có bằng chứng không phải là bằng chứng vắng mặt.

Vì vậy, câu hỏi của tôi là, điểm thực hiện kiểm tra như vậy là gì nếu chúng ta không thể kết luận liệu dữ liệu có tuân theo phân phối nhất định không?

Nếu bạn có một phân phối thay thế (hoặc bộ phân phối) trong tâm trí để so sánh thì đó có thể là một công cụ hữu ích.

Tôi sẽ nói: Tôi có một bộ các quan sát trong tay mà tôi nghĩ có thể được phân phối bình thường. (Tôi nghĩ vậy bởi vì tôi đã thấy các quan sát về một nhân vật tương tự mà tôi hài lòng theo đường cong bình thường.) Tôi cũng nghĩ rằng họ có thể không theo đường cong bình thường nhưng một số đường cong không bình thường. (Tôi nghĩ rằng điều này có thể là do tôi đã thấy các cơ quan dữ liệu như thế này không đi theo đường cong thông thường, ví dụ như, xiên, v.v.) 3 Sau đó, tôi thực hiện một cuộc điều tra dọc theo các dòng dưới đây: Nếu các quan sát đến từ một phân phối bình thường, mức độ thường xuyên như vậy khi tôi xảy ra? Kết luận là, "Khá hiếm khi - chỉ hai lần trong một trăm." Sau đó tôi thực hiện một cuộc điều tra, không nêu và không tính toán, nhưng tôi tin rằng hoàn toàn cần thiết cho việc hoàn thành một đối số hợp lệ, như sau: Nếu phân phối không bình thường, trải nghiệm này, được đánh giá bởi sự khác biệt chi bình phương, sẽ xảy ra khá thường xuyên. (Tất cả những gì tôi phải làm là tưởng tượng rằng đường cong không bình thường có đặc điểm sai lệch quan sát được của phân phối.) Do đó tôi bác bỏ giả thuyết bình thường theo nguyên tắc rằng tôi chấp nhận rằng một trong những giả thuyết được xem xét thay thế mà sự kiện có kinh nghiệm sẽ nhiều hơn thường xuyên. Tôi nói rằng sự bác bỏ giả thuyết khống chỉ có giá trị đối với sự sẵn sàng chấp nhận một sự thay thế (sự thay thế này không nhất thiết được xác định chính xác trong tất cả các khía cạnh). Do đó, tôi bác bỏ giả thuyết bình thường theo nguyên tắc rằng tôi chấp nhận rằng một trong những giả thuyết được xem xét thay thế mà sự kiện có kinh nghiệm sẽ xảy ra thường xuyên hơn. Tôi nói rằng sự bác bỏ giả thuyết khống chỉ có giá trị đối với sự sẵn sàng chấp nhận một sự thay thế (sự thay thế này không nhất thiết được xác định chính xác trong tất cả các khía cạnh). Do đó, tôi bác bỏ giả thuyết bình thường theo nguyên tắc rằng tôi chấp nhận rằng một trong những giả thuyết được xem xét thay thế mà sự kiện có kinh nghiệm sẽ xảy ra thường xuyên hơn. Tôi nói rằng sự bác bỏ giả thuyết khống chỉ có giá trị đối với sự sẵn sàng chấp nhận một sự thay thế (sự thay thế này không nhất thiết được xác định chính xác trong tất cả các khía cạnh).

Bây giờ dòng lý luận mà tôi đã mô tả, trái ngược với những gì tôi đã mô tả như bình thường hơn, sẽ giải thích tại sao quyết định của tôi khác với thông lệ trong trường hợp thứ ba và thứ tư.

Đối với trường hợp thứ ba, sau khi tôi thử kiểm tra chi bình phương, tôi đã đi đến kết luận, rằng trên giả thuyết không có sự khác biệt so với tính quy tắc, việc phân phối với một bình phương lớn như vậy sẽ hiếm khi xảy ra. Cho đến nay chúng tôi đang ở vị trí chính xác như chúng tôi đã ở thời điểm này trong trường hợp thứ hai. Nhưng bây giờ hãy để tôi kiểm tra xác suất rằng trải nghiệm này sẽ xảy ra nếu nguồn cung ban đầu là không bình thường. Kinh nghiệm này sẽ xảy ra thường xuyên hơn? Không có lý do để nói như vậy. Phân phối hoàn toàn đối xứng, nghĩa là độ lệch bằng 0 (có chính xác 50% các trường hợp ở mỗi bên của giá trị trung bình) và kiểm tra sự khác biệt về tần số dự kiến ​​trong các lớp khác nhau cho thấy chúng không phải là hệ thống thái độ, tức là độ lệch cộng và độ lệch trừ xen kẽ theo thứ tự ngẫu nhiên. Phân phối như vậy không được mong đợi thường xuyên từ bất kỳ đường cong bất thường hợp lý nào. Do đó, chúng tôi không có lý do gì để từ chối đường cong thông thường.

Quan điểm của tôi là không bao giờ có bất kỳ lý do hợp lệ nào để bác bỏ giả thuyết khống trừ khi sẵn sàng đưa ra một lý do khác.

Một số khó khăn của việc giải thích gặp phải trong việc áp dụng bài kiểm tra Chi-Square. Joseph Berkson. Tạp chí của Hiệp hội Thống kê Hoa Kỳ. Tập 33, số 203 (tháng 9 năm 1938), trang 526-536