Kiểm tra tương đương cho dữ liệu không bình thường?

Tôi có một số dữ liệu mà tôi nhất thiết không thể giả sử được rút ra từ các bản phân phối bình thường và tôi muốn tiến hành các thử nghiệm về sự tương đương giữa các nhóm. Đối với dữ liệu thông thường, có các kỹ thuật như TOST (hai bài kiểm tra một phía). Có điều gì tương tự TOST cho dữ liệu không bình thường không?

hypothesis-testing equivalence tost

— Ryan C. Thompson
nguồn

Tôi không quen thuộc với TOST, nhưng bạn có đang tìm Mann-Whitney không? Đây là một thử nghiệm không đối xứng (theo nghĩa là không có giả định nào về các bản phân phối được thực hiện) có thể cung cấp bằng chứng cho thấy hai nhóm đến từ các bản phân phối khác nhau.

— Nick Sabbe

Tôi đang tìm kiếm một thử nghiệm trong đó giả thuyết khống là có sự khác biệt và giả thuyết thay thế là không có (gần như) không có sự khác biệt.

— Ryan C. Thompson

Đối với các mẫu nhỏ, bạn có thể xem các câu trả lời trong stats.stackexchange.com/questions/49782/ . Đối với các mẫu lớn hơn, cách tiếp cận cổ điển với các thử nghiệm t là tốt nhờ Định lý giới hạn trung tâm.

— Michael M

Không có gì trong cụm từ "Hai bài kiểm tra một phía" - cũng như logic cơ bản ngụ ý lý thuyết bình thường. Nên hoàn toàn có thể thích ứng nó với một sự thay thế vị trí với phân phối không bình thường. Nhưng hãy cẩn thận - trong nhiều trường hợp với dữ liệu không bình thường, điều bạn thực sự muốn là một loại thử nghiệm tương đương thay đổi quy mô và với các loại dữ liệu khác, thay vào đó là một loại dữ liệu khác. Biết những gì cần thiết thực sự phụ thuộc vào những gì bạn đang đo và vấn đề bạn đang giải quyết. Thay vì cố gắng ép chốt của bạn vào một lỗ tròn, nó trả tiền để kiểm tra chốt.

— Glen_b -Reinstate Monica

Câu trả lời:

Logic của TOST sử dụng cho Wald-type t và z thống kê thử nghiệm (tức là $\theta / s_{\theta}$ và $\theta / \sigma_{\theta}$ , tương ứng) có thể được áp dụng cho z ước tính cho các xét nghiệm phi tham như dấu hiệu, cấp bậc dấu, và kiểm tra thứ hạng tổng. Để đơn giản, tôi cho rằng sự tương đương được thể hiện đối xứng với một thuật ngữ duy nhất, nhưng việc mở rộng câu trả lời của tôi cho các thuật ngữ tương đương không đối xứng là đơn giản.

Một vấn đề phát sinh khi thực hiện điều này là nếu ai quen với việc thể hiện thuật ngữ tương đương (ví dụ, $\Delta$ ) trong các đơn vị tương tự như $\theta$ , sau đó các thuật ngữ tương đương phải được thể hiện bằng đơn vị thuộc dấu hiệu đặc biệt, ký kết xếp hạng hay bậc tổng thống kê, đó là cả sâu sắc, và phụ thuộc vào N .

Tuy nhiên, người ta cũng có thể biểu thị các thuật ngữ tương đương TOST theo các đơn vị của chính thống kê kiểm tra. Hãy xem xét rằng trong TOST, nếu $z = \theta/\sigma_{\theta}$ , sau đó $z_{1} = (\Delta - \theta)/\sigma_{\theta}$ , và $z_{2} = (\theta + \Delta)/\sigma_{\theta}$ . Nếu chúng ta để cho $\varepsilon = \Delta / \sigma_{\theta}$ , sau đó $z_{1} = \varepsilon - z$ , và $z_{2} = z + \varepsilon$ . (Các số liệu thống kê được trình bày ở đây đều được đánh giá ởđuôibên phải: $p_{1} = \text{P}(Z > z_{1})$ và $p_{2} = \text{P}(Z > z_{2})$ .) Sử dụng các đơn vịphân phốizđể xác định ngưỡng tương đương / mức độ phù hợp có thể được ưu tiên cho các thử nghiệm không tham số, vì phương án thay thế xác định ngưỡng theo đơn vị của các cấp bậc đã ký hoặc tổng xếp hạng, điều này có thể vô nghĩa đối với các nhà nghiên cứu và khó diễn giải.

Nếu chúng tôi nhận ra rằng (đối với các khoảng tương đương đối xứng), không thể bác bỏ bất kỳ giả thuyết TOST null nào khi $\varepsilon \le z_{1-\alpha}$ , thì chúng tôi có thể tiến hành đưa ra quyết định về kích thước phù hợp của thuật ngữ tương đương tương ứng. Ví dụ $\varepsilon = z_{1-\alpha} + 0.5$ .

Cách tiếp cận này đã được thực hiện với các tùy chọn để hiệu chỉnh liên tục, v.v. trong gói đầu tiên cho Stata (hiện bao gồm các triển khai TOST cụ thể cho các bài kiểm tra Shapiro-Wilk và Shapiro-Francia), mà bạn có thể truy cập bằng cách nhập vào Stata:

Chỉnh sửa: Tại sao logic của TOST là âm thanh và các hình thức kiểm tra tương đương đã được áp dụng cho các thử nghiệm omnibus, tôi đã bị thuyết phục rằng giải pháp của tôi dựa trên sự hiểu lầm sâu sắc về các thống kê gần đúng cho các thử nghiệm Shapiro-Wilk và Shapiro-Francia

— Alexis
nguồn

Đây không phải là TOST per se, nhưng thử nghiệm Komolgorov-Smirnov cho phép người ta kiểm tra tầm quan trọng của sự khác biệt giữa phân phối mẫu và phân phối tham chiếu thứ hai mà bạn có thể chỉ định. Bạn có thể sử dụng thử nghiệm này để loại trừ một loại phân phối cụ thể khác nhau, nhưng nói chung không phải là các phân phối khác nhau (ít nhất, không phải không kiểm soát lạm phát lỗi trong các thử nghiệm của tất cả các lựa chọn thay thế ... nếu đó là cách nào đó có thể). Giả thuyết thay thế cho bất kỳ một thử nghiệm nào sẽ vẫn là giả thuyết "bắt tất cả" ít cụ thể hơn, như thường lệ.

Nếu bạn có thể giải quyết một thử nghiệm về sự khác biệt phân phối giữa hai nhóm trong đó giả thuyết null là hai nhóm được phân phối tương đương, bạn có thể sử dụng thử nghiệm Komolgorov-Smirnov để so sánh phân phối của một nhóm với các nhóm khác. Đó có lẽ là cách tiếp cận thông thường: bỏ qua sự khác biệt nếu chúng không có ý nghĩa thống kê và chứng minh quyết định này bằng một thống kê kiểm tra.

Trong mọi trường hợp, bạn có thể muốn xem xét một số vấn đề sâu hơn phát sinh từ phương pháp "tất cả hoặc không có gì" để bác bỏ giả thuyết khống. Một vấn đề như vậy rất phổ biến ở đây trên Cross xác thực: " Kiểm tra tính quy phạm 'về cơ bản là vô dụng'? " Mọi người thích trả lời các câu hỏi kiểm tra quy tắc bằng một câu hỏi: "Tại sao bạn muốn kiểm tra điều này?" Tôi cho rằng ý định nói chung là để vô hiệu hóa lý do thử nghiệm, cuối cùng có thể dẫn đến đúng hướng. Ý chính của các câu trả lời hữu ích cho câu hỏi tôi đã liên kết ở đây dường như như sau:

Nếu bạn lo lắng về việc vi phạm các giả định kiểm tra tham số, bạn chỉ nên tìm một bài kiểm tra không tham số mà không đưa ra các giả định phân phối thay thế. Đừng kiểm tra xem bạn có cần sử dụng bài kiểm tra không tham số hay không; chỉ cần sử dụng nó
Bạn nên thay thế câu hỏi, "Phân phối của tôi có đáng kể không bình thường không?" với "Phân phối của tôi không bình thường như thế nào và điều này có khả năng ảnh hưởng đến các phân tích quan tâm của tôi như thế nào?" Ví dụ, các xét nghiệm liên quan đến xu hướng trung tâm (đặc biệt là liên quan đến phương tiện) có thể nhạy cảm hơn với độ lệch so với kurtosis, và ngược lại đối với các xét nghiệm liên quan đến phương sai (đồng). Tuy nhiên, có những lựa chọn thay thế mạnh mẽ cho hầu hết các mục đích phân tích không nhạy cảm với bất kỳ loại phi quy tắc nào.

Nếu bạn vẫn muốn theo đuổi một thử nghiệm tương đương, thì đây là một cuộc thảo luận phổ biến khác về Xác thực chéo có liên quan đến thử nghiệm tương đương.

— Nick Stauner
nguồn

_{0}^{-} : | θ - θ_{0} | \geq Δ

$^{-}_{0}: |\theta-\theta_{0}| \ge \Delta$

_{01}^{-} : θ - θ_{0} \geq Δ

$^{-}_{01}: \theta-\theta_{0} \ge \Delta$

_{01}^{-} : θ - θ_{0} \leq - Δ

$^{-}_{01}: \theta-\theta_{0} \le -\Delta$

_{01}^{-}

$^{-}_{01}$

_{02}^{-}

$^{-}_{02}$

- Δ < θ - θ_{0} < Δ

$-\Delta < \theta - \theta_{0} < \Delta$

[- Δ, Δ]

$[-\Delta,\Delta]$

Đủ công bằng; Tôi có lẽ là một chút sai lệch. Tôi đã loại bỏ những phần mà bạn dường như phản đối. Tuy nhiên, tôi nghĩ rằng bạn đã nhận xét của bạn một cách quá mạnh mẽ. Mặc dù thực tế là cách tiếp cận fail to/ phân đôi bắt buộc rejectđược thiết lập tốt, hầu hết các mẫu không thể loại trừ hoàn toàn khả năng null là đúng. Hầu như luôn luôn có một số cơ hội của lỗi từ chối sai nếu một người khăng khăng từ chối, điều này thường không cần thiết theo nghĩa đen. Đó có lẽ là điểm quan trọng hơn tôi dự định thực hiện ban đầu. Hy vọng rằng bây giờ rõ ràng hơn một chút mà không có công cụ bị xóa

— Nick Stauner

_{0}^{-}

$^{-}_{0}$

_{0}^{+}

$^{+}_{0}$

_{0}^{+}

$^{+}_{0}$

_{0}^{-}

$^{-}_{0}$

_{0}^{+}

$^{+}_{0}$

_{0}^{-}

$^{-}_{0}$

Δ

$\Delta$

_{0}^{+}

$^{+}_{0}$

_{0}^{-}

$^{-}_{0}$

_{0}^{+}

$^{+}_{0}$

_{0}^{-}

$^{-}_{0}$

Tất nhiên, các vấn đề về độ nhạy và độ đặc hiệu, PPV và NPV không biến mất.

— Alexis

-1

$\mathcal{H}_0: f_x \ne f_y$ $\mathcal{H}_1: f_x = f_y$ $\mathcal{H}_0$ $f_x \sim \mathcal{N}(0, 1)$ $\hat{f}_x$ $\hat{f}_y$ $X=Y$ $f_y \approx f_x$

$\mathcal{H}_0$ $\mathcal{H}_1$

set.seed(123)
p <- replicate(1000, { ## generate data under the null
  x <- rnorm(100)
  g <- sample(0:1, 100, replace=T)
  BIC(lm(x~1)) > BIC(lm(x~g))
})
mean(p)

cho

> mean(p)
[1] 0.034

$p$

Mặt khác, nếu chúng ta thực hiện:

set.seed(123)
p <- replicate(1000, { ## generate data under the null
  x <- rnorm(100)
  g <- sample(0:1, 100, replace=T)
  x <- x + 0.4*g
  BIC(lm(x~1)) > BIC(lm(x~g))
})
mean(p)

Cung cấp:

> mean(p)
[1] 0.437

Như với NHST, có những vấn đề tinh tế về sức mạnh và tỷ lệ lỗi dương tính giả cần được khám phá với mô phỏng trước khi đưa ra kết luận dứt khoát.

Tôi nghĩ rằng một phương pháp tương tự (có lẽ là tổng quát hơn) đang sử dụng các số liệu thống kê Bayes để so sánh ước lượng sau được ước tính theo một trong hai mô hình xác suất.

— Adam
nguồn

AdamO bạn dường như đang kết hợp "bình đẳng thử nghiệm" với "tương đương thử nghiệm". Có một thập kỷ văn học cũ và vững chắc trong các phương pháp và ứng dụng sau này.

— Alexis

Xem, ví dụ, Wellek, S. (2010). Kiểm tra các giả thuyết thống kê về sự tương đương và không thua kém . Chapman và Hall / CRC Press, ấn bản thứ hai.

— Alexis

@Alexis hmm, thật không may, chúng tôi không có quyền truy cập vào thư viện. Bạn có nói rằng sự tương đương giống như trong trường hợp không thua kém khi các ước tính nằm trong một lề được coi là tương đương?

— AdamO

Không hoàn toàn: không thua kém là một thử nghiệm một phía cho dù một điều trị mới thực hiện không tệ hơn một số tiêu chuẩn trừ đi một sự khác biệt nhỏ nhất có liên quan được chỉ định trước . Các thử nghiệm về tính tương đương là các thử nghiệm về giả thuyết khống cho rằng hai (hoặc nhiều hơn) số lượng khác nhau theo một hướng khác nhau bởi nhiều hơn một sự khác biệt nhỏ nhất có liên quan quy định một tiên nghiệm . Một số bài báo chuyên đề:

— Alexis

Schuirmann, DA (1987). Một so sánh của hai quy trình thử nghiệm một phía và phương pháp tiếp cận sức mạnh để đánh giá sự tương đương của sinh khả dụng trung bình . Tạp chí dược động học và sinh dược học , 15 (6): 657 sừng680.

— Alexis