Stewamini và Hochberg đã phát triển phương pháp đầu tiên (và vẫn được sử dụng rộng rãi nhất, tôi nghĩ) để kiểm soát tỷ lệ phát hiện sai (FDR).

Tôi muốn bắt đầu với một loạt các giá trị P, mỗi giá trị để so sánh khác nhau và quyết định giá trị nào đủ thấp để được gọi là "khám phá", điều khiển FDR đến một giá trị được chỉ định (giả sử 10%). Một giả định của phương pháp thông thường là tập hợp các phép so sánh là độc lập hoặc có "sự phụ thuộc tích cực" nhưng tôi không thể hiểu chính xác cụm từ đó có nghĩa gì trong bối cảnh phân tích một tập hợp các giá trị P.

Từ câu hỏi của bạn và đặc biệt là ý kiến của bạn để trả lời khác, có vẻ như với tôi rằng bạn đang chủ yếu là nhầm lẫn về "bức tranh lớn" ở đây: cụ thể là, những gì hiện "sự phụ thuộc tích cực" tham khảo trong bối cảnh này ở tất cả - như trái ngược với những gì là ý nghĩa kỹ thuật của điều kiện PRDS. Vì vậy, tôi sẽ nói về bức tranh lớn.

Bức tranh lớn

Hãy tưởng tượng rằng bạn đang kiểm tra các giả thuyết null và tưởng tượng rằng tất cả chúng đều đúng. Mỗi giá trị N p là một biến ngẫu nhiên; lặp đi lặp lại thử nghiệm nhiều lần sẽ mang lại giá trị p khác nhau mỗi lần, vì vậy người ta có thể nói về phân phối giá trị p (dưới giá trị null). Điều nổi tiếng là đối với bất kỳ thử nghiệm nào, phân phối giá trị p dưới giá trị null phải đồng nhất; do đó, trong trường hợp thử nghiệm bội số, tất cả N phân phối biên của giá trị p sẽ đồng nhất.$N$$N$ $p$$p$$p$$p$$N$$p$

Nếu tất cả các dữ liệu và tất cả các kiểm tra độc lập với nhau, sau đó các doanh N phân phối chiều của p -values cũng sẽ thống nhất. Điều này sẽ đúng, ví dụ như trong một tình huống "thạch-đậu" cổ điển khi một loạt các thứ độc lập đang được thử nghiệm:$N$$N$$p$

Tuy nhiên, nó không phải như thế. Bất kỳ cặp giá trị nào về nguyên tắc có thể tương quan, tích cực hoặc tiêu cực, hoặc bị phụ thuộc theo một cách phức tạp hơn. Xem xét thử nghiệm tất cả các khác biệt về cặp đôi về phương tiện giữa bốn nhóm; đây là N = 4 ⋅ 3 / 2 = 6 bài kiểm tra. Mỗi một trong sáu giá trị p được phân phối đồng đều. Nhưng tất cả chúng đều có mối tương quan tích cực: nếu (trên một nỗ lực nhất định) nhóm A tình cờ có ý nghĩa đặc biệt thấp, thì so sánh A-vs-B có thể mang lại giá trị p thấp (điều này sẽ là dương tính giả). Nhưng trong tình huống này, có khả năng A-vs-C, cũng như A-vs-D, cũng sẽ mang lại p thấp$p$$N=4\cdot 3/2=6$$p$$p$$p$giá trị. Vì vậy, giá trị rõ ràng là không độc lập và hơn nữa chúng có mối tương quan tích cực với nhau.$p$

Đây là, không chính thức, những gì "phụ thuộc tích cực" đề cập đến.

Đây dường như là một tình huống phổ biến trong nhiều thử nghiệm. Một ví dụ khác sẽ là kiểm tra sự khác biệt trong một số biến có tương quan với nhau. Có được sự khác biệt đáng kể ở một trong số họ làm tăng cơ hội có được sự khác biệt đáng kể ở người khác.

Thật khó để đưa ra một ví dụ tự nhiên trong đó giá trị sẽ "phụ thuộc tiêu cực". @ user43849 nhận xét trong các nhận xét ở trên rằng đối với các bài kiểm tra một phía thật dễ dàng:$p$

Hãy tưởng tượng tôi đang kiểm tra xem A = 0 và cả B = 0 so với các lựa chọn thay thế một đầu (A> 0 và B> 0). Tưởng tượng thêm rằng B phụ thuộc vào A. Ví dụ, hãy tưởng tượng tôi muốn biết liệu một quần thể có nhiều phụ nữ hơn nam giới hay không, và nếu dân số đó chứa nhiều buồng trứng hơn tinh hoàn. Rõ ràng biết giá trị p của câu hỏi đầu tiên thay đổi kỳ vọng của chúng tôi về giá trị p cho câu hỏi thứ hai. Cả hai giá trị p đều thay đổi theo cùng một hướng và đây là PRD. Nhưng nếu tôi thay vào đó kiểm tra giả thuyết thứ hai rằng dân số 2 có nhiều tinh hoàn hơn buồng trứng, thì kỳ vọng của chúng tôi về giá trị p thứ hai sẽ giảm khi giá trị p đầu tiên tăng. Đây không phải là PRD.

Nhưng cho đến nay tôi đã không thể đưa ra một ví dụ tự nhiên với điểm null.

Bây giờ, công thức toán học chính xác của "sự phụ thuộc tích cực" đảm bảo tính hợp lệ của thủ tục Stewamini-Hochberg là khá khó khăn. Như đã đề cập trong các câu trả lời khác, tài liệu tham khảo chính là Stewamini & Yekutieli 2001 ; chúng cho thấy rằng thuộc tính PRDS ("phụ thuộc hồi quy dương vào từng nhóm từ một tập hợp con") đòi hỏi thủ tục của Stewamini-Hochberg. Đây là một hình thức thoải mái của tài sản PRD ("phụ thuộc hồi quy dương"), có nghĩa là PRD ngụ ý PRDS và do đó cũng đòi hỏi thủ tục của Stewamini-Hochberg.

Để biết các định nghĩa về PRD / PRDS, hãy xem câu trả lời của @ user43849 (+1) và giấy Stewamini & Yekutieli. Các định nghĩa khá kỹ thuật và tôi không có hiểu biết trực quan tốt về chúng. Trên thực tế, B & Y cũng đề cập đến một số khái niệm liên quan khác: tổng tích cực đa biến của đơn hàng hai (MTP2) và liên kết tích cực. Theo B & Y, chúng có liên quan như sau (sơ đồ là của tôi):

$\hskip{10em}$

MTP2 ngụ ý PRD ngụ ý PRDS đảm bảo tính chính xác của quy trình BH. PRD cũng ngụ ý PA, nhưng PA PRDS.$\ne$

Câu hỏi tuyệt vời! Chúng ta hãy lùi lại và hiểu những gì Bonferroni đã làm, và tại sao cần thiết cho Stewamini và Hochberg để phát triển một giải pháp thay thế.

Nó đã trở nên cần thiết và bắt buộc trong những năm gần đây để thực hiện một quy trình gọi là hiệu chỉnh nhiều thử nghiệm. Điều này là do số lượng xét nghiệm ngày càng tăng được thực hiện đồng thời với khoa học thông lượng cao, đặc biệt là về di truyền học với sự ra đời của toàn bộ nghiên cứu về bộ gen (GWAS). Xin lỗi tham khảo di truyền học, vì đó là lĩnh vực công việc của tôi. Nếu chúng tôi thực hiện đồng thời 1.000.000 thử nghiệm với , chúng tôi sẽ mong đợi 50 , 000 kết quả dương tính giả. Điều này là rất lớn, và do đó chúng ta phải kiểm soát mức độ quan trọng được đánh giá. Hiệu chỉnh bonferroni, nghĩa là chia ngưỡng chấp nhận (0,05) cho số lượng thử nghiệm độc lập ( 0,05 /$P = 0.05$$50,000$ sửa lỗi cho tỷ lệ lỗi khôn ngoan của gia đình ( F W E R ).$(0.05/M)$$FWER$

Điều này đúng vì FWER có liên quan đến tỷ lệ lỗi thử khôn ngoan ( ) bằng phương trình F W E R = 1 - ( 1 - T W E R ) M . Nghĩa là, 100 phần trăm trừ đi 1 trừ đi tỷ lệ lỗi thông minh thử nghiệm được nâng lên thành sức mạnh của số lượng thử nghiệm độc lập được thực hiện. Giả định rằng ( 1 - 0,05 ) 1 / M = 1 - $TWER$$FWER = 1 - (1 - TWER)^M$ choTWER≈$(1- 0.05)^{1/M} = 1-\frac{0.05}{M}$ , là giá trị P chấp nhận được điều chỉnh cho M thử nghiệm hoàn toàn độc lập.$TWER \approx \frac{0.05}{M}$

Vấn đề mà chúng ta gặp phải bây giờ, cũng như Stewamini và Hochberg, là không phải tất cả các xét nghiệm đều hoàn toàn độc lập. Do đó, hiệu chỉnh Bonferroni, mặc dù mạnh mẽ và linh hoạt, là một sự quá mức . Xem xét trường hợp trong di truyền học, nơi hai gen được liên kết trong một trường hợp gọi là mất cân bằng liên kết; nghĩa là, khi một gen có đột biến, một gen khác có nhiều khả năng được biểu hiện. Đây rõ ràng không phải là các thử nghiệm độc lập, mặc dù trong hiệu chỉnh bonferroni chúng được giả định là . Đây là lúc chúng ta bắt đầu thấy rằng việc chia giá trị P cho M đang tạo ra một ngưỡng thấp giả tạo do các thử nghiệm độc lập giả định thực sự ảnh hưởng lẫn nhau, ergo tạo ra một M quá lớn so với tình huống thực tế của chúng ta, nơi mọi thứ phát sinh độc lập.

Thủ tục được đề xuất bởi Stewamini và Hochberg, và được tăng cường bởi Yekutieli (và nhiều người khác) là tự do hơn Bonferroni, và trên thực tế, hiệu chỉnh Bonferroni chỉ được sử dụng trong các nghiên cứu lớn nhất hiện nay. Điều này là do, trong FDR, chúng tôi giả định một số sự phụ thuộc lẫn nhau vào một phần của các thử nghiệm và do đó, một M quá lớn và không thực tế và loại bỏ kết quả mà chúng tôi, trong thực tế, quan tâm. Do đó, trong trường hợp 1000 bài kiểm tra không độc lập, M thực sự sẽ không phải là 1000, mà là một cái gì đó nhỏ hơn vì phụ thuộc. Do đó, khi chúng tôi chia 0,05 cho 1000, ngưỡng quá nghiêm ngặt và tránh một số thử nghiệm có thể được quan tâm.

Tôi không chắc liệu bạn có quan tâm đến các cơ chế đằng sau việc kiểm soát sự phụ thuộc hay không, mặc dù nếu bạn đã liên kết bài báo Yekutieli để bạn tham khảo. Tôi cũng sẽ đính kèm một vài thứ khác cho thông tin và sự tò mò của bạn.

Hy vọng điều này đã giúp một cách nào đó, nếu tôi đã trình bày sai bất cứ điều gì xin vui lòng cho tôi biết.

~ ~ ~

Tài liệu tham khảo

Bài viết của Yekutieli về sự phụ thuộc tích cực - http://www.math.tau.ac.il/~ybenja/MyPapers/benjamini_yekutieli_ANNSTAT2001.pdf

(xem 1.3 - Vấn đề.)

Giải thích về Bonferroni và những điều đáng quan tâm khác - Các đánh giá về Di truyền học Tự nhiên. Kiểm tra sức mạnh và ý nghĩa thống kê trong các nghiên cứu di truyền quy mô lớn - Pak C Sham và Shaun M Purcell

(xem hộp 3.)

http://en.wikipedia.org/wiki/F Familywise_error_rate

CHỈNH SỬA:

Trong câu trả lời trước của tôi, tôi đã không xác định trực tiếp sự phụ thuộc tích cực, đó là những gì được hỏi. Trong bài báo của Yekutieli, phần 2.2có tiêu đề Sự phụ thuộc tích cực và tôi đề nghị điều này vì nó rất chi tiết. Tuy nhiên, tôi tin rằng chúng ta có thể làm cho nó ngắn gọn hơn một chút.

$I_0$$I_0$

$X$$I_0$$X$$I_0$$X$$I_0$$x$$X$

$P$

Tóm lại, thuộc tính phụ thuộc dương thực sự là thuộc tính của phụ thuộc hồi quy dương của toàn bộ tập hợp thống kê kiểm tra dựa trên tập hợp thống kê kiểm tra null thực sự của chúng tôi và chúng tôi kiểm soát FDR 0,05; do đó, khi các giá trị P đi từ dưới lên (thủ tục tăng dần), chúng sẽ tăng xác suất là một phần của tập hợp null.

Câu trả lời trước đây của tôi trong các ý kiến ​​về ma trận hiệp phương sai không phải là không chính xác, chỉ là một chút mơ hồ. Tôi hy vọng điều này sẽ giúp một chút nữa.

Tôi thấy bản in trước này hữu ích trong việc hiểu ý nghĩa. Cần phải nói rằng tôi đưa ra câu trả lời này không phải với tư cách là một chuyên gia trong chủ đề, mà như một nỗ lực tìm hiểu để được cộng đồng xem xét và xác nhận.

Cảm ơn Amoeba vì những quan sát rất hữu ích về sự khác biệt giữa PRD và PRDS, xem bình luận

$p$$C$$p$$C$

1. $q$$C$
2. $r$$q$$r$$q$$r_i < q_i$$i$
3. $r$$C$

$C$

$p$$p_1 ... p_{n} < B_1 ... B_n$$p$$C$$B_1 ... B_n$

$p_i$$p_i$$p_i$$p_1 ... p_n$$p_1 ... p_n$$p_i$

$p_1 ... p_n$

$p_n$$p_n < B$$B$$p_n < B$$p_n < B$$B$

Chỉnh sửa để thêm:

Đây là một ví dụ giả định về một hệ thống không phải là PRDS (mã R bên dưới). Logic là khi các mẫu a và b rất giống nhau, nhiều khả năng sản phẩm của họ sẽ không điển hình. Tôi nghi ngờ rằng hiệu ứng này (và không phải là sự không đồng nhất của các giá trị p dưới giá trị null để (a*b), (c*d)so sánh) đang dẫn đến mối tương quan nghịch trong các giá trị p, nhưng tôi không thể chắc chắn. Hiệu ứng tương tự xuất hiện nếu chúng tôi thực hiện kiểm tra t để so sánh lần thứ hai (chứ không phải Wilcoxon), nhưng phân phối giá trị p vẫn không đồng nhất, có lẽ là do vi phạm giả định quy tắc.

ab <- rep(NA, 100000)  # We'll repeat the comparison many times to assess the relationships among p-values.
abcd <- rep(NA, 100000)

for(i in 1:100000){
  a <- rnorm(10)    # Draw 4 samples from identical populations.
  b <- rnorm(10)
  c <- rnorm(10)
  d <- rnorm(10)

  ab[i] <- t.test(a,b)$p.value          # We perform 2 comparisons and extract p-values
  abcd[i] <- wilcox.test((a*b),(c*d))$p.value
}

summary(lm(abcd ~ ab))    # The p-values are negatively correlated

ks.test(ab, punif)    # The p-values are uniform for the first test
ks.test(abcd, punif)   # but non-uniform for the second test.
hist(abcd)

Trong bài báo của họ , Stewamini và Yekutieli cung cấp một số ví dụ về mức độ phụ thuộc hồi quy dương (PRD) khác với việc chỉ liên quan tích cực. Quy trình kiểm soát FDR dựa trên một dạng PRD yếu hơn mà họ gọi là PRDS (tức là PRD trên mỗi loại từ một tập hợp con của các biến).

Sự phụ thuộc tích cực ban đầu được đề xuất trong cài đặt hai biến của Lehmann , nhưng phiên bản đa biến của khái niệm này, được gọi là phụ thuộc hồi quy dương là những gì có liên quan đến nhiều thử nghiệm.

Đây là một đoạn trích có liên quan từ pg.6

$\mathbf{X}$$(\mathbf{X}_1, \mathbf{X}_2)$$\mathbf{X}$$h(\mathbf{X}_1)$$\mathbf{X}_2$$h(\mathbf{X}_1)$

$$\ldots$$

Sự phụ thuộc tích cực trong trường hợp này có nghĩa là tập hợp các bài kiểm tra có mối tương quan tích cực. Ý tưởng sau đó là nếu các biến trong tập hợp các bài kiểm tra mà bạn có giá trị P có tương quan dương thì mỗi biến không độc lập .

Ví dụ, nếu bạn nghĩ lại về hiệu chỉnh giá trị p Bonferroni, bạn có thể đảm bảo rằng tỷ lệ lỗi loại 1 nhỏ hơn 10% so với 100 thử nghiệm độc lập thống kê bằng cách đặt ngưỡng ý nghĩa của bạn thành 0,1 / 100 = 0,001. Nhưng, điều gì sẽ xảy ra nếu mỗi trong số 100 bài kiểm tra đó tương quan theo một cách nào đó? Sau đó, bạn chưa thực sự thực hiện 100 bài kiểm tra riêng biệt.

Trong FDR, ý tưởng hơi khác so với hiệu chỉnh Bonferroni. Ý tưởng là để đảm bảo rằng chỉ một phần trăm nhất định (nói 10%) trong số những điều bạn tuyên bố có ý nghĩa được tuyên bố sai. Nếu bạn có các dấu tương quan (phụ thuộc dương) trong tập dữ liệu của mình, giá trị FDR được chọn dựa trên tổng số thử nghiệm bạn thực hiện (nhưng số lượng thử nghiệm độc lập thống kê thực tế nhỏ hơn). Bằng cách này, sẽ an toàn hơn khi kết luận rằng tỷ lệ phát hiện sai là khai báo sai 10% hoặc ít hơn các thử nghiệm trong bộ giá trị P của bạn.

Xin vui lòng xem chương sách này để thảo luận về sự phụ thuộc tích cực.