Một ví dụ trong đó nguyên tắc khả năng * thực sự * quan trọng?

Có một ví dụ trong đó hai thử nghiệm có thể phòng thủ khác nhau với khả năng tỷ lệ sẽ dẫn đến một suy luận khác biệt rõ ràng (và có thể phòng thủ được), ví dụ, trong đó các giá trị p có độ lớn cách xa nhau, nhưng sức mạnh đối với các phương án là tương tự nhau?

Tất cả các ví dụ tôi thấy đều rất ngớ ngẩn, so sánh một nhị thức với nhị thức âm, trong đó giá trị p của giá trị thứ nhất là 7% và 3% thứ hai, chỉ "khác biệt" mà một người trong số đó đưa ra quyết định nhị phân trên các ngưỡng tùy ý có ý nghĩa như 5% (trong đó, nhân tiện, là một tiêu chuẩn khá thấp cho suy luận) và thậm chí không bận tâm đến việc xem xét sức mạnh. Ví dụ, nếu tôi thay đổi ngưỡng cho 1%, cả hai đều dẫn đến cùng một kết luận.

Tôi chưa bao giờ thấy một ví dụ về việc nó sẽ dẫn đến những suy luận khác biệt và có thể phòng thủ được . Có một ví dụ như vậy?

Tôi đang hỏi bởi vì tôi đã thấy rất nhiều mực dành cho chủ đề này, như thể Nguyên tắc Khả năng là một cái gì đó cơ bản trong nền tảng của suy luận thống kê. Nhưng nếu ví dụ tốt nhất người ta có là những ví dụ ngớ ngẩn như ở trên, thì nguyên tắc này có vẻ hoàn toàn không quan trọng.

Do đó, tôi đang tìm kiếm một ví dụ rất hấp dẫn, trong đó nếu một người không tuân theo LP, trọng lượng của bằng chứng sẽ bị áp đảo theo một hướng được đưa ra một thử nghiệm, nhưng, trong một thử nghiệm khác với khả năng tỷ lệ, trọng lượng của bằng chứng sẽ bị áp đảo chỉ về một hướng ngược lại, và cả hai kết luận đều có vẻ hợp lý.

Một cách lý tưởng, người ta có thể chứng minh rằng chúng ta có thể có các câu trả lời cách xa nhau một cách tùy tiện, nhưng hợp lý, chẳng hạn như các thử nghiệm với so với với khả năng tỷ lệ và sức mạnh tương đương để phát hiện cùng phương án.$p =0.1$$p= 10^{-10}$

PS: Câu trả lời của Bruce hoàn toàn không giải quyết câu hỏi.

Nghĩ về một tình huống giả định khi giả thuyết điểm null là đúng nhưng người ta cứ lấy mẫu cho đến khi $p<0.05$ (điều này sẽ luôn xảy ra sớm hay muộn, tức là nó sẽ xảy ra với xác suất 1) và sau đó quyết định dừng thử nghiệm và từ chối null. Đây là một quy tắc dừng cực kỳ thừa nhận nhưng xem xét nó vì lợi ích của tranh luận.

Quy trình đạo đức này sẽ có tỷ lệ lỗi Loại I 100%, nhưng không có gì sai với Nguyên tắc Khả năng này.

Tôi muốn nói rằng điều này được tính là "thực sự" quan trọng. Tất nhiên bạn có thể chọn bất kỳ $\alpha$ trong đối số này. Bayes có thể sử dụng một điểm cắt cố định trên yếu tố Bayes nếu họ muốn. Logic tương tự được áp dụng. Bài học chính ở đây là bạn không thể tuân thủ LP và có bảo đảm tỷ lệ lỗi. Không có bữa trưa miễn phí đâu.

Tuyên bố miễn trừ trách nhiệm: Tôi tin rằng câu trả lời này là cốt lõi của toàn bộ cuộc tranh luận, vì vậy nó đáng để thảo luận, nhưng tôi chưa tìm hiểu đầy đủ về vấn đề này. Như vậy, tôi hoan nghênh sửa chữa, tinh chỉnh và bình luận.

Khía cạnh quan trọng nhất liên quan đến dữ liệu được thu thập tuần tự. Ví dụ: giả sử bạn quan sát kết quả nhị phân và bạn đã thấy 10 thành công và 5 thất bại. Nguyên tắc khả năng nói rằng bạn nên đi đến cùng một kết luận về xác suất thành công, bất kể bạn đã thu thập dữ liệu cho đến khi bạn có 10 thành công (nhị thức âm) hoặc chạy 15 thử nghiệm, trong đó 10 thử nghiệm thành công (nhị thức) .

Tại sao điều này có tầm quan trọng?

Bởi vì theo nguyên tắc khả năng (hoặc ít nhất, một cách giải thích nhất định về nó), sẽ hoàn toàn ổn khi để dữ liệu ảnh hưởng khi bạn sẽ ngừng thu thập dữ liệu mà không phải thay đổi các công cụ suy luận của mình.

Xung đột với các phương pháp tuần tự

Ý tưởng sử dụng dữ liệu của bạn để quyết định khi nào ngừng thu thập dữ liệu mà không thay đổi các công cụ suy luận của bạn hoàn toàn bay bổng khi đối mặt với các phương pháp phân tích tuần tự truyền thống. Ví dụ kinh điển về điều này là với các phương pháp được sử dụng trong các thử nghiệm lâm sàng. Để giảm khả năng tiếp xúc với các phương pháp điều trị có hại, dữ liệu thường được phân tích tại các thời điểm trung gian trước khi phân tích được thực hiện. Nếu thử nghiệm chưa kết thúc, nhưng các nhà nghiên cứu đã có đủ dữ liệu để kết luận rằng việc điều trị có hiệu quả hay có hại, đạo đức y khoa cho chúng ta biết chúng ta nên dừng thử nghiệm; nếu việc điều trị có hiệu quả, việc dừng thử nghiệm và bắt đầu điều trị cho những bệnh nhân không thử nghiệm là điều có đạo đức. Nếu nó có hại, việc dừng lại để cho bệnh nhân dùng thử điều trị có hại là đạo đức hơn.

Vấn đề là bây giờ chúng tôi đã bắt đầu thực hiện nhiều so sánh, vì vậy chúng tôi đã tăng tỷ lệ lỗi Loại I nếu chúng tôi không điều chỉnh các phương pháp của mình để tính toán cho nhiều so sánh. Điều này không hoàn toàn giống với các vấn đề so sánh truyền thống, vì nó thực sự là nhiều so sánh một phần (nghĩa là, nếu chúng ta phân tích dữ liệu một lần với 50% dữ liệu được thu thập và một lần với 100%, hai mẫu này rõ ràng không độc lập!) , nhưng nói chung, chúng ta càng so sánh nhiều hơn, chúng ta càng cần thay đổi tiêu chí từ chối giả thuyết null để duy trì tỷ lệ lỗi loại I, với nhiều so sánh được lên kế hoạch đòi hỏi nhiều bằng chứng hơn để từ chối null.

Điều này đặt các nhà nghiên cứu lâm sàng vào tình trạng khó xử; Bạn có muốn thường xuyên kiểm tra dữ liệu của mình, nhưng sau đó tăng bằng chứng cần thiết để từ chối null hoặc bạn muốn kiểm tra dữ liệu của mình một cách không thường xuyên, tăng sức mạnh của bạn nhưng có khả năng không hành động theo cách tối ưu liên quan đến đạo đức y tế (có thể trì hoãn sản phẩm ra thị trường hoặc phơi nhiễm bệnh nhân lâu không cần thiết để điều trị có hại).

Theo hiểu biết của tôi (có lẽ là nhầm lẫn) rằng nguyên tắc khả năng xuất hiện cho chúng ta biết rằng chúng ta không kiểm tra dữ liệu bao nhiêu lần, chúng ta nên suy luận tương tự. Điều này về cơ bản nói rằng tất cả các phương pháp tiếp cận thiết kế thử nghiệm tuần tự là hoàn toàn không cần thiết; chỉ cần sử dụng nguyên tắc khả năng và dừng lại khi bạn đã thu thập đủ dữ liệu để đưa ra kết luận. Vì bạn không cần thay đổi phương pháp suy luận của mình để điều chỉnh số lượng phân tích bạn đã chuẩn bị, nên không có sự đánh đổi giữa tình huống kiểm tra và số lần kiểm tra. Bam, toàn bộ lĩnh vực phân tích tuần tự được giải quyết (theo cách giải thích này).

Cá nhân, điều rất khó hiểu về điều này với tôi là một thực tế được biết đến trong lĩnh vực thiết kế tuần tự, nhưng khá tinh tế, đó là khả năng của thống kê kiểm tra cuối cùng bị thay đổi phần lớn bởi quy tắc dừng; về cơ bản, các quy tắc dừng tăng xác suất một cách không liên tục tại các điểm dừng. Đây là một âm mưu của một sự biến dạng như vậy; đường nét đứt là bản PDF của thống kê kiểm tra cuối cùng dưới giá trị null nếu dữ liệu chỉ được phân tích sau khi tất cả dữ liệu được thu thập, trong khi đường liền nét cung cấp cho bạn phân phối theo null của thống kê kiểm tra nếu bạn kiểm tra dữ liệu 4 lần với một dữ liệu nhất định qui định.

Như đã nói, tôi hiểu rằng nguyên tắc khả năng dường như ngụ ý rằng chúng ta có thể loại bỏ tất cả những gì chúng ta biết về thiết kế tuần tự thường xuyên và quên đi bao nhiêu lần chúng ta phân tích dữ liệu của mình. Rõ ràng, ý nghĩa của việc này, đặc biệt đối với lĩnh vực thiết kế lâm sàng, là rất lớn. Tuy nhiên, tôi không bao giờ suy nghĩ về cách họ biện minh cho việc bỏ qua các quy tắc dừng làm thay đổi khả năng của thống kê cuối cùng.

Một số thảo luận nhẹ có thể được tìm thấy ở đây , chủ yếu là trên các slide cuối cùng.

Phác thảo các bài kiểm tra LR cho dữ liệu theo cấp số nhân.

Hãy để $X_1, X_2, \dots, X_n$ là một mẫu ngẫu nhiên từ $\mathsf{Exp}(\text{rate} =\lambda),$ do đó $E(X_i) = \mu = 1/\lambda.$ Đối với $x > 0,$ hàm mật độ là $f(x) = \lambda e^{-\lambda x}$ và CDF là $F(x) = 1 - e^{-\lambda x}.$

1. Thống kê kiểm tra là mẫu tối thiểu.

Đặt $V = X_{(1)} = \min_n (X_i).$Sau đó, $V \sim \mathsf{Exp}(n\lambda).$Là một phác thảo của các bằng chứng,

Để kiểm tra $H_9:\mu \le \mu_0$ so với $H_a: \mu > \mu_0,$ ở mức $\alpha = 5\%,$ chúng tôi coi $V$ như một quan sát đơn từ phân phối mũ của nó. Chúng tôi thấy rằng tỷ lệ khả năng đăng nhập biểu thị sự từ chối khi $V > c,$ trong đó $P(V > c\, |\, \mu = \mu_0) = 0.05.$

Đối với trường hợp cụ thể trong đó $n = 100$ và $\mu_0 =10,\, \lambda_0 = 0.1,$ chúng tôi có tỷ lệ hàm mũ$10 = n/\mu_0 = 100/10 = 10,$ do đó$c = 0.2295$ từ R, nơi phân phối mũ được tham số hóa bằng tỷ lệ.

 qexp(.95, 10)
 [1] 0.2995732
 1 - pexp(0.2996, 10)
 [1] 0.04998662

Theo đó, sức mạnh chống lại sự thay thế $\mu_a = 100$ (tỷ lệ $n/\mu_a = 1)$ là khoảng 74%.

1 - pexp(0.2996, 1)
[1] 0.7411146

2. Thống kê kiểm tra là giá trị trung bình mẫu.

Oxford U. lớp ghi chú (trang thứ hai) cho thấy các kiểm tra tỷ lệ khả năng của $H_0: \mu \le \mu_0$ so với $H_0: \mu > \mu_0$ ở mức 5% Rejects ý nghĩa cho $\bar X > c,$ nơi $P(\bar X > c\, |\, \mu = \mu_0) = 0.5.$ Hơn nữa, người ta có thể hiển thị bằng cách sử dụng các hàm tạo mô men mà $\bar X \sim \mathsf{Gamma}(n, n\lambda).$

Đối với trường hợp cụ thể trong đó $n = 100$ và $\mu_0 =10,\, \lambda_0 = 0.1,$ ta có$\bar X \sim \mathsf{Gamma}(100, 10),$ sao cho$c = 11.7.$

qgamma(.95, 100, 10)
[1] 11.69971
1 - pgamma(11.7, 100, 10)
[1] 0.04997338

Theo đó, sức mạnh chống lại sự thay thế $\mu_a = 14$ là khoảng 95,6%.

1 - pgamma(11.7, 100, 100/14)
[1] 0.9562513

Rõ ràng, với mục đích thử nghiệm giả thuyết về giá trị trung bình hàm mũ $\mu,$ các thông tin trong thống kê đầy đủ $\bar X$ là nhiều hơn so với các thông tin trong tối thiểu mẫu.

Vi phạm bởi các chức năng khác nhau pdf $f(x,\theta)$ và $g(x,\theta)$

Trường hợp này sẽ là một ví dụ về 'vi phạm' vì các chức năng phân phối xác suất $f(x,\theta)$ $g(x,\theta)$ là bản chất khác nhau. Ngay cả khi $f$ và $g$ , khác nhau, họ có thể liên quan đến các nguyên tắc khả năng vì ở cố định đo lường $x$ họ cung cấp cho các chức năng tương tự của $\theta$ lên đến rộng. Sự khác biệt, mở ra một khả năng cho "vi phạm".

Đồng xu lật có hoặc không có quy tắc dừng tùy chọn

Việc lật đồng xu có hoặc không có quy tắc dừng tùy chọn là một ví dụ điển hình, pdf là nhị thức hoặc nhị thức âm là các hàm pdf khác nhau và dẫn đến tính toán khác nhau của các giá trị p và khoảng tin cậy, nhưng chúng dẫn đến các hàm khả năng giống nhau cho cố định mẫu / đo lường (lên đến tỷ lệ).

Ví dụ cực đoan hơn

$X$

$a$$\theta$$x$

$x$$a$$a$

• $x<1$$\mathcal{L}(\theta | x) \propto 1$
• $x\geq 1$$\mathcal{L}(\theta | x) \propto \theta \exp(-\theta (x-1))$

$a$$x=2$$H_0:\theta = 1$$H_0:\theta < 1$

$x$

$f(θ|x)$$x$$f(x|θ)$$θ$

Giá trị p không thực sự là bằng chứng: Giá trị p liên quan đến lỗi loại I là một thước đo liên quan đến một tập hợp các phép đo hơn là một phép đo đơn lẻ. Lỗi loại I hoặc giá trị p này không giống với 'ý nghĩa chứng minh' từ nền tảng của bằng chứng thống kê của Birnbaums '. Điều này liên quan rất nhiều đến các vấn đề với giá trị p và nhà khoa học tìm kiếm kết quả chỉ có ý nghĩa thống kê hơn là các hiệu ứng quan trọng.

Chúng ta có cần các ví dụ mà suy luận khác nhau rõ rệt không? Trường hợp cực đoan là một ví dụ giả định. Một trường hợp như vậy, hoặc bất cứ điều gì có sự khác biệt cực kỳ tương tự, tất nhiên là không dễ dàng xảy ra trong thực tế. Thông thường, sự khác biệt sẽ là nhỏ, chẳng hạn như trong các trường hợp mà bạn gọi là ngớ ngẩn.

Để hỏi ví dụ về nguyên tắc khả năng "thực sự quan trọng", hoặc khi hai suy luận khác nhau dẫn đến kết quả cực kỳ khác nhau, là một câu hỏi được đặt ra . Ít nhất là khi ý định cho câu hỏi này liên quan đến một số lập luận triết học. Đó là một câu hỏi được tải bởi vì nó giả định rằng các nguyên tắc quan trọng sẽ dẫn đến kết quả cực kỳ khác nhau. Trong nhiều trường hợp thực tế, kết quả rất nhỏ (về các giá trị p khác nhau nhỏ hơn một đơn đặt hàng). Tôi tin rằng đây không phải là một điều lạ đối với hai phương pháp khác nhau, nhưng cả hai đều hợp lý, dẫn đến kết quả tương tự ít nhiều. Tôi sẽ xem xét nguyên tắc khả năng không 'ít vi phạm' khi sự khác biệt chỉ là nhỏ.

Dưới đây là một ví dụ được điều chỉnh từ lý thuyết quyết định thống kê và phân tích Bayes của James O. Berger (Ấn bản thứ hai trang 29).

$x$$y$$H_0$$H_1$

$H_1$$H_0$

$H_0$$H_0$$H_0$

$H_0$

Các hàm khả năng tỷ lệ thuận và giá trị p của $x = 1$$y = 1$$H_0$$y \leq \alpha$

Tuy nhiên, tôi thừa nhận rằng ví dụ này hơi khó hiểu và không hoàn toàn trung thực vì nó gặp khó khăn trong việc sắp xếp các bài kiểm tra với dữ liệu rời rạc. Người ta có thể tìm thấy các ví dụ tương đương với dữ liệu liên tục nhưng chúng thậm chí còn bị chiếm dụng nhiều hơn. Tôi đồng ý với OP rằng nguyên tắc khả năng gần như không có giá trị thực tế; Tôi giải thích nó như là một nguyên tắc để đảm bảo sự nhất quán trong lý thuyết.