Tôi vừa xem qua bài viết này , trong đó mô tả cách tính toán độ lặp lại (còn gọi là độ tin cậy, hay còn gọi là tương quan nội hàm) của phép đo thông qua mô hình hiệu ứng hỗn hợp. Mã R sẽ là:

#fit the model
fit = lmer(dv~(1|unit),data=my_data)

#obtain the variance estimates
vc = VarCorr(fit)
residual_var = attr(vc,'sc')^2
intercept_var = attr(vc$id,'stddev')[1]^2

#compute the unadjusted repeatability
R = intercept_var/(intercept_var+residual_var)

#compute n0, the repeatability adjustment
n = as.data.frame(table(my_data$unit))
    k = nrow(n)
    N = sum(n$Freq)
n0 = (N-(sum(n$Freq^2)/N))/(k-1)

#compute the adjusted repeatability
Rn = R/(R+(1-R)/n0)

Tôi tin rằng phương pháp này cũng có thể được sử dụng để tính độ tin cậy của các hiệu ứng (tức là hiệu ứng tương phản tổng của một biến có 2 cấp độ), như trong:

#make sure the effect variable has sum contrasts
contrasts(my_data$iv) = contr.sum

#fit the model
fit = lmer(dv~(iv|unit)+iv,data=my_data)

#obtain the variance estimates
vc = VarCorr(fit)
residual_var = attr(vc,'sc')^2
effect_var = attr(vc$id,'stddev')[2]^2

#compute the unadjusted repeatability
R = effect_var/(effect_var+residual_var)

#compute n0, the repeatability adjustment
n = as.data.frame(table(my_data$unit,my_data$iv))
k = nrow(n)
N = sum(n$Freq)
    n0 = (N-(sum(n$Freq^2)/N))/(k-1)

#compute the adjusted repeatability
Rn = R/(R+(1-R)/n0)

Ba câu hỏi:

Các tính toán trên để có được ước tính điểm về độ lặp lại của hiệu ứng có ý nghĩa không?
Khi tôi có nhiều biến có độ lặp lại mà tôi muốn ước tính, việc thêm tất cả chúng vào cùng một mức phù hợp (ví dụ lmer(dv~(iv1+iv2|unit)+iv1+iv2) dường như mang lại ước tính lặp lại cao hơn so với việc tạo một mô hình riêng cho mỗi hiệu ứng. Điều này có ý nghĩa về mặt tính toán đối với tôi, vì việc bao gồm nhiều hiệu ứng sẽ có xu hướng làm giảm phương sai dư, nhưng tôi không chắc chắn rằng các ước tính lặp lại kết quả là hợp lệ. Có phải họ không?
Bài viết được trích dẫn ở trên cho thấy rằng khả năng định hình có thể giúp tôi có được các khoảng tin cậy cho các ước tính lặp lại, nhưng theo tôi có thể nói, confint(profile(fit))chỉ cung cấp các khoảng cho các phương sai đánh chặn và hiệu ứng, trong khi đó tôi cũng cần khoảng thời gian cho phương sai còn lại để tính toán khoảng thời gian cho độ lặp lại, không?

mixed-model reliability intraclass-correlation repeatability spss factor-analysis survey modeling cross-validation error curve-fitting mediation correlation clustering sampling machine-learning probability classification metric r project-management optimization svm python dataset quality-control checking clustering distributions anova factor-analysis exponential poisson-distribution generalized-linear-model deviance machine-learning k-nearest-neighbour r hypothesis-testing t-test r variance levenes-test bayesian software bayesian-network regression repeated-measures least-squares change-scores variance chi-squared variance nonlinear-regression regression-coefficients multiple-comparisons p-value r statistical-significance excel sampling sample r distributions interpretation goodness-of-fit normality-assumption probability self-study distributions references theory time-series clustering econometrics binomial hypothesis-testing variance t-test paired-comparisons statistical-significance ab-test r references hypothesis-testing t-test normality-assumption wilcoxon-mann-whitney central-limit-theorem t-test data-visualization interactive-visualization goodness-of-fit

— Mike Lawrence
nguồn

Tôi nghĩ rằng tôi có thể trả lời các câu hỏi của bạn ít nhất là liên quan đến các ước tính lặp lại chưa được điều chỉnh , nghĩa là các mối tương quan giữa các lớp cổ điển (ICC). Đối với ước tính độ lặp lại "đã điều chỉnh", tôi đã đọc lướt qua bài báo bạn liên kết và không thực sự thấy công thức mà bạn áp dụng có thể được tìm thấy trong bài báo ở đâu? Dựa trên biểu thức toán học, dường như độ lặp lại của điểm trung bình (thay vì điểm riêng lẻ). Nhưng dù sao đây cũng không phải là một phần quan trọng trong câu hỏi của bạn, vì vậy tôi sẽ bỏ qua nó.

(1.) Các tính toán trên để có được ước tính điểm về độ lặp lại của hiệu ứng có ý nghĩa không?

Vâng, biểu thức bạn đề xuất có ý nghĩa, nhưng một sửa đổi nhỏ cho công thức đề xuất của bạn là cần thiết. Dưới đây tôi chỉ ra cách người ta có thể rút ra hệ số lặp lại được đề xuất của bạn. Tôi hy vọng cả hai điều này làm rõ ý nghĩa khái niệm của hệ số và cũng cho thấy lý do tại sao nên sửa đổi nó một chút.

Để bắt đầu, trước tiên hãy lấy hệ số lặp lại trong trường hợp đầu tiên của bạn và làm rõ ý nghĩa của nó và nguồn gốc của nó. Hiểu điều này sẽ giúp chúng ta hiểu trường hợp thứ hai phức tạp hơn.

Chỉ chặn ngẫu nhiên

Trong trường hợp này, mô hình hỗn hợp cho phản hồi thứ trong nhóm thứ là trong đó các ngẫu nhiên chặn có phương sai và phần dư có phương sai . $i$ $j$

y_{tôi j} = = β_{0} + {bạn}_{0 j} + e_{tôi j},

$y_{ij} = \beta_0 + u_{0j} + e_{ij},$

u_{0 j}

$u_{0j}$

σ_{u_{0}}^{2}

$\sigma^2_{u_0}$

e_{i j}

$e_{ij}$

σ_{e}^{2}

$\sigma^2_e$

Bây giờ, mối tương quan giữa hai biến ngẫu nhiên và được định nghĩa là $x$ $y$

c o r r = = \frac{c o v (x, y)}{\sqrt{v một r (x) v một r (y)}} .

$corr = \frac{cov(x, y)}{\sqrt{var(x)var(y)}}.$

Biểu thức cho hệ số lặp lại ICC / lặp lại xuất phát từ việc để hai biến ngẫu nhiên và là hai quan sát được rút ra từ cùng một nhóm , và nếu bạn đơn giản hóa việc này bằng cách sử dụng các định nghĩa được đưa ra ở trên và các thuộc tính của phương sai / hiệp phương sai (một quá trình mà tôi sẽ không hiển thị ở đây, trừ khi bạn hoặc người khác muốn tôi làm như vậy), bạn sẽ kết thúc với $x$ $y$ $j$

tôi C C = = \frac{c o v (β_{0} + {bạn}_{0 j} + e_{{tôi}_{1} j}, β_{0} + {bạn}_{0 j} + e_{{tôi}_{2} j})}{\sqrt{v một r (β_{0} + {bạn}_{0 j} + e_{{tôi}_{1} j}) v một r (β_{0} + {bạn}_{0 j} + e_{{tôi}_{2} j})}},

$ICC = \frac{cov(\beta_0 + u_{0j} + e_{i_1j}, \beta_0 + u_{0j} + e_{i_2j})}{\sqrt{var(\beta_0 + u_{0j} + e_{i_1j})var(\beta_0 + u_{0j} + e_{i_2j})}},$

tôi C C = = \frac{σ_{{bạn}_{0}}^{2}}{σ_{{bạn}_{0}}^{2} + σ_{e}^{2}} .

$ICC = \frac{\sigma^2_{u_0}}{\sigma^2_{u_0} + \sigma^2_e}.$ Điều này có nghĩa là ICC hoặc "hệ số lặp lại không được điều chỉnh" trong trường hợp này có một cách giải thích đơn giản là mối tương quan dự kiến giữa một quan sát cặp từ cùng một cụm (mạng của các hiệu ứng cố định, trong trường hợp này chỉ là trung bình lớn). Việc ICC cũng có thể hiểu là tỷ lệ phương sai trong trường hợp này là ngẫu nhiên; nói chung là không đúng đối với các ICC phức tạp hơn. Việc giải thích như một số loại tương quan là những gì là chính.

Ngẫu nhiên và dốc ngẫu nhiên

Bây giờ đối với trường hợp thứ hai, trước tiên chúng ta phải làm rõ chính xác ý nghĩa của "độ tin cậy của hiệu ứng (nghĩa là hiệu ứng tương phản tổng của một biến có 2 cấp độ") - từ của bạn.

Đầu tiên chúng tôi đặt ra mô hình. Mô hình hỗn hợp cho phản hồi thứ trong nhóm thứ dưới cấp thứ của một công cụ dự đoán được mã hóa tương phản là trong đó các chặn ngẫu nhiên có phương sai , các sườn ngẫu nhiên có phương sai , các ngẫu nhiên và các sườn có hiệp phương sai và phần dư có phương sai . $i$ $j$ $k$ $x$

y_{tôi j k} = = β_{0} + β_{1} x_{k} + {bạn}_{0 j} + {bạn}_{1 j} x_{k} + e_{tôi j k},

$y_{ijk} = \beta_0 + \beta_1x_k + u_{0j} + u_{1j}x_k + e_{ijk},$

σ_{u_{0}}^{2}

$\sigma^2_{u_0}$

σ_{u_{1}}^{2}

$\sigma^2_{u_1}$

σ_{u_{01}}

$\sigma_{u_{01}}$

e_{i j}

$e_{ij}$

σ_{e}^{2}

$\sigma^2_e$

Vậy "độ lặp lại của hiệu ứng" trong mô hình này là gì? Tôi nghĩ một định nghĩa ứng viên tốt là nó là mối tương quan dự kiến giữa hai cặp điểm khác biệt được tính trong cùng một cụm , nhưng qua các cặp quan sát khác nhau . $j$ $i$

Vì vậy, cặp điểm số khác biệt trong câu hỏi sẽ là (hãy nhớ rằng chúng tôi giả sử được mã hóa tương phản sao cho ): và $x$ $|x_1|=|x_2|=x$

y_{{tôi}_{1} j k_{2}} - y_{{tôi}_{1} j k_{1}} = = (β_{0} - β_{0}) + β_{1} (x_{k_{2}} - x_{k_{1}}) + ({bạn}_{0 j} - {bạn}_{0 j}) + {bạn}_{1 j} (x_{k_{2}} - x_{k_{1}}) + (e_{{tôi}_{1} j k_{2}} - e_{{tôi}_{1} j k_{1}}) = = 2 x β_{1} + 2 x {bạn}_{1 j} + e_{{tôi}_{1} j k_{2}} - e_{{tôi}_{1} j k_{1}}

$y_{i_1jk_2}-y_{i_1jk_1}=(\beta_0-\beta_0)+\beta_1(x_{k_2}-x_{k_1})+(u_{0j}-u_{0j})+u_{1j}(x_{k_2}-x_{k_1})+(e_{i_1jk_2}-e_{i_1jk_1}) \\=2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1}$

y_{{tôi}_{2} j k_{2}} - y_{{tôi}_{2} j k_{1}} = = 2 x β_{1} + 2 x {bạn}_{1 j} + e_{{tôi}_{2} j k_{2}} - e_{{tôi}_{2} j k_{1}} .

$y_{i_2jk_2}-y_{i_2jk_1}=2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1}.$

Việc đưa những công thức này vào công thức tương quan sẽ cho chúng ta đơn giản hóa thành Lưu ý rằng ICC về mặt kỹ thuật là một chức năng của ! Tuy nhiên, trong trường hợp này chỉ có thể lấy 2 giá trị có thể và ICC giống hệt nhau ở cả hai giá trị này.

tôi C C = = \frac{c o v (2 x β_{1} + 2 x {bạn}_{1 j} + e_{{tôi}_{1} j k_{2}} - e_{{tôi}_{1} j k_{1}}, 2 x β_{1} + 2 x {bạn}_{1 j} + e_{{tôi}_{2} j k_{2}} - e_{{tôi}_{2} j k_{1}})}{\sqrt{v một r (2 x β_{1} + 2 x {bạn}_{1 j} + e_{{tôi}_{1} j k_{2}} - e_{{tôi}_{1} j k_{1}}) v một r (2 x β_{1} + 2 x {bạn}_{1 j} + e_{{tôi}_{2} j k_{2}} - e_{{tôi}_{2} j k_{1}})}},

$ICC = \frac{cov(2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1}, 2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1})}{\sqrt{var(2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1})var(2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1})}},$

tôi C C = = \frac{2 x^{2} σ_{{bạn}_{1}}^{2}}{2 x^{2} σ_{{bạn}_{1}}^{2} + σ_{e}^{2}} .

$ICC = \frac{2x^2\sigma^2_{u_1}}{2x^2\sigma^2_{u_1} + \sigma^2_e}.$

x

$x$

x

$x$

Như bạn có thể thấy, điều này rất giống với hệ số lặp lại mà bạn đề xuất trong câu hỏi của bạn, điểm khác biệt duy nhất là phương sai độ dốc ngẫu nhiên phải được thu nhỏ một cách thích hợp nếu biểu thức được hiểu là ICC hoặc "hệ số lặp lại không được điều chỉnh". Biểu thức mà bạn đã viết hoạt động trong trường hợp đặc biệt trong đó bộ dự đoán được mã hóa , nhưng không nói chung. $x$ $\pm\frac{1}{\sqrt{2}}$

(2.) Khi tôi có nhiều biến có độ lặp lại mà tôi muốn ước tính, việc thêm tất cả chúng vào cùng một mức phù hợp (ví dụ lmer(dv~(iv1+iv2|unit)+iv1+iv2) dường như mang lại ước tính lặp lại cao hơn so với việc tạo một mô hình riêng biệt cho mỗi hiệu ứng. Điều này có ý nghĩa về mặt tính toán đối với tôi, vì bao gồm nhiều hiệu ứng sẽ có xu hướng làm giảm phương sai dư, nhưng tôi không khẳng định rằng các ước tính lặp lại kết quả là hợp lệ. Có phải họ không?

Tôi tin rằng làm việc thông qua một công cụ phái sinh tương tự như đã trình bày ở trên cho một mô hình có nhiều yếu tố dự đoán có độ dốc ngẫu nhiên của riêng chúng sẽ cho thấy hệ số lặp lại ở trên sẽ vẫn hợp lệ, ngoại trừ sự phức tạp thêm rằng điểm số chênh lệch mà chúng ta quan tâm hiện nay sẽ quan tâm có một định nghĩa hơi khác: cụ thể là, chúng tôi quan tâm đến mối tương quan dự kiến của sự khác biệt giữa các phương tiện được điều chỉnh sau khi kiểm soát các yếu tố dự đoán khác trong mô hình.

Nếu các yếu tố dự đoán khác trực giao với yếu tố dự đoán lợi ích (ví dụ như, một thí nghiệm cân bằng), tôi sẽ nghĩ rằng hệ số ICC / độ lặp lại được xây dựng ở trên sẽ hoạt động mà không cần sửa đổi. Nếu chúng không trực giao thì bạn cần phải sửa đổi công thức để tính đến điều này, điều này có thể trở nên phức tạp, nhưng hy vọng câu trả lời của tôi đã đưa ra một số gợi ý về những gì có thể trông như thế nào.

— Jake Westfall
nguồn

Bạn nói đúng Jake. ICC điều chỉnh đề cập đến phần VII. ĐỘC LẬP TUYỆT VỜI VÀ HẤP DẪN trong bài báo được liên kết. Các tác giả viết Điều quan trọng là phải phân biệt giữa độ lặp lại của các phép đo riêng lẻ và độ lặp lại của phép đo có nghĩa là $R$ $R_n$ .

— Gabra

Tính toán độ lặp lại của hiệu ứng từ mô hình lmer

Chỉ chặn ngẫu nhiên

Ngẫu nhiên và dốc ngẫu nhiên