Tôi đã bắt gặp một văn bản rất hay trên Bayes / MCMC. CNTT gợi ý rằng việc tiêu chuẩn hóa các biến độc lập của bạn sẽ giúp thuật toán MCMC (Đô thị) hiệu quả hơn, nhưng cũng có thể làm giảm (đa) cộng tuyến. Điều đó có thể đúng không? Đây có phải là một cái gì đó tôi nên làm như là tiêu chuẩn . (Xin lỗi).

Kruschke 2011, Thực hiện phân tích dữ liệu Bayes. (AP)

chỉnh sửa: ví dụ

     > data(longley)
     > cor.test(longley$Unemployed, longley$Armed.Forces)

Pearson's product-moment correlation

     data:  longley$Unemployed and longley$Armed.Forces 
     t = -0.6745, df = 14, p-value = 0.5109
     alternative hypothesis: true correlation is not equal to 0 
     95 percent confidence interval:
     -0.6187113  0.3489766 
     sample estimates:
      cor 
     -0.1774206 

     > standardise <- function(x) {(x-mean(x))/sd(x)}
     > cor.test(standardise(longley$Unemployed), standardise(longley$Armed.Forces))

Pearson's product-moment correlation

     data:  standardise(longley$Unemployed) and standardise(longley$Armed.Forces) 
     t = -0.6745, df = 14, p-value = 0.5109
      alternative hypothesis: true correlation is not equal to 0 
     95 percent confidence interval:
      -0.6187113  0.3489766 
      sample estimates:
       cor 
     -0.1774206 

Điều này đã không làm giảm mối tương quan hoặc do đó mặc dù sự phụ thuộc tuyến tính hạn chế của các vectơ.

Chuyện gì đang xảy ra vậy?

R

Nó không thay đổi sự cộng tác giữa các hiệu ứng chính. Thu nhỏ cũng không. Bất kỳ biến đổi tuyến tính sẽ không làm điều đó. Những gì nó thay đổi là mối tương quan giữa các hiệu ứng chính và tương tác của chúng. Ngay cả khi A và B độc lập với tương quan bằng 0, thì mối tương quan giữa A và A: B sẽ phụ thuộc vào các yếu tố tỷ lệ.

Hãy thử làm như sau trong bảng điều khiển R. Lưu ý rằng rnormchỉ cần tạo các mẫu ngẫu nhiên từ một phân phối bình thường với các giá trị dân số bạn đặt, trong trường hợp này là 50 mẫu. Các scalechức năng chuẩn hóa mẫu đến trung bình 0 và SD trong tổng số 1.

set.seed(1) # the samples will be controlled by setting the seed - you can try others
a <- rnorm(50, mean = 0, sd = 1)
b <- rnorm(50, mean = 0, sd = 1)
mean(a); mean(b)
# [1] 0.1004483 # not the population mean, just a sample
# [1] 0.1173265
cor(a ,b)
# [1] -0.03908718

Tương quan ngẫu nhiên là gần 0 đối với các mẫu độc lập này. Bây giờ bình thường hóa thành trung bình của 0 và SD của 1.

a <- scale( a )
b <- scale( b )
cor(a, b)
# [1,] -0.03908718

Một lần nữa, đây là cùng một giá trị mặc dù giá trị trung bình là 0 và SD = 1 cho cả hai avà b.

cor(a, a*b)
# [1,] -0.01038144

Điều này cũng rất gần 0. (a * b có thể được coi là thuật ngữ tương tác)

Tuy nhiên, thông thường SD và giá trị trung bình của các yếu tố dự đoán khác nhau một chút vì vậy hãy thay đổi b. Thay vì lấy một mẫu mới, tôi sẽ bán lại bản gốc bđể có giá trị trung bình là 5 và SD là 2.

b <- b * 2 + 5
cor(a, b)
 # [1] -0.03908718

Một lần nữa, mối tương quan quen thuộc mà chúng ta đã thấy tất cả cùng. Tỷ lệ không có tác động đến mối tương quan giữa avà b. Nhưng!!

cor(a, a*b)
# [1,] 0.9290406

Bây giờ điều đó sẽ có một mối tương quan đáng kể mà bạn có thể thực hiện bằng cách định tâm và / hoặc tiêu chuẩn hóa. Tôi thường chỉ đi với trung tâm.

Như những người khác đã đề cập, tiêu chuẩn hóa thực sự không liên quan gì đến cộng tác.

Cộng tác hoàn hảo

Chúng ta hãy bắt đầu với tiêu chuẩn hóa (hay còn gọi là chuẩn hóa), ý nghĩa của nó là trừ đi giá trị trung bình và chia cho độ lệch chuẩn sao cho giá trị trung bình kết quả bằng 0 và độ lệch chuẩn cho thống nhất. Vì vậy, nếu biến ngẫu nhiên có nghĩa là và độ lệch chuẩn , thìμ X σ $X$$\mu_X$$\sigma_X$

$$\newcommand{Var}{\mathrm{Var}} Z_X = \frac{X - \mu_X}{\sigma_X}$$

có nghĩa là và độ lệch chuẩn với các thuộc tính của giá trị và phương sai dự kiến mà , và , , trong đó là rv và là hằng số.$\mu_Z = 0$$\sigma_Z = 1$$E(X + a) = E(X) + a$$E(bX) = b\,E(X)$$\Var(X + a) = \Var(X)$$\Var(bX) = b^2 \Var(X)$$X$$a,b$

Chúng ta nói rằng hai biến và là một cách hoàn hảo thẳng hàng nếu có tồn tại các giá trị như vậy và rằng$X$$Y$$\lambda_0$$\lambda_1$

$$Y = \lambda_0 + \lambda_1 X$$

Điều gì tiếp theo, nếu có nghĩa là và độ lệch chuẩn , thì có nghĩa là và độ lệch chuẩn . Bây giờ, khi chúng tôi chuẩn hóa cả hai biến (loại bỏ phương tiện của chúng và chia cho độ lệch chuẩn), chúng tôi nhận được ...$X$$\mu_X$$\sigma_X$$Y$$\mu_Y = \lambda_0 + \lambda_1 \mu_X$$\sigma_Y = \lambda_1 \sigma_X$$Z_X = Z_X$

Tương quan

Tất nhiên cộng tuyến hoàn hảo không phải là điều mà chúng ta thường thấy, nhưng các biến tương quan mạnh cũng có thể là một vấn đề (và chúng là các loài có liên quan với cộng tuyến). Vì vậy, tiêu chuẩn hóa có ảnh hưởng đến tương quan? Vui lòng so sánh các ô sau đây cho thấy hai biến tương quan trên hai ô trước và sau khi chia tỷ lệ:

Bạn có thể nhận ra sự khác biệt? Như bạn có thể thấy, tôi cố tình loại bỏ các nhãn trục, để thuyết phục bạn rằng tôi không gian lận, hãy xem các lô có nhãn được thêm vào:

Về mặt toán học, nếu tương quan là

$$\newcommand{Corr}{\mathrm{Corr}} \newcommand{Cov}{\mathrm{Cov}} \Corr(X, Y) = \frac{\Cov(X,Y)}{\Var(X)\,\Var(Y)}$$

sau đó với các biến collinear chúng ta có

$$\require{cancel} \begin{align} \Corr(X, Y) &= \frac{E[(X - \mu_X)(Y - \mu_Y)]}{\sigma_X\sigma_Y} \\ &=\frac{E[(X - \mu_X)(\cancel{\lambda_0} + \lambda_1 X - \cancel{\lambda_0} - \lambda_1\mu_X )]}{\sigma_X\;\lambda_1\sigma_X} \\ &= \frac{E[(X - \mu_X)(\lambda_1 X - \lambda_1\mu_X )]}{\sigma_X\;\lambda_1\sigma_X} \\ &= \frac{E[(X - \mu_X)\lambda_1( X - \mu_X )]}{\sigma_X\;\lambda_1\sigma_X} \\ &= \frac{\cancel{\lambda_1} E[(X - \mu_X)(X - \mu_X )]}{\sigma_X\;\cancel{\lambda_1}\sigma_X} \\ &= \frac{E[(X - \mu_X)(X - \mu_X )]}{\sigma_X\sigma_X} \end{align}$$

bây giờ kể từ ,$\Cov(X,X) = \Var(X)$

$$\begin{align} &= \frac{\Cov(X, X)}{\sigma_X^2} = \frac{\Var(X)}{\Var(X)} = 1 \end{align}$$

Trong khi với các biến được tiêu chuẩn hóa

$$\begin{align} \Corr(Z_X, Z_Y) &= \frac{E[(Z_X - 0)(Z_Y - 0)]}{1 \times 1} \\ &= \Cov(Z_X, Z_Y) = \Var(Z_X) = 1 \end{align}$$

kể từ khi ...$Z_X = Z_Y$

Cuối cùng, lưu ý rằng điều Kruschke đang nói đến , đó là việc chuẩn hóa các biến giúp cho việc lấy mẫu Gibbs dễ dàng hơn và dẫn đến giảm mối tương quan giữa đánh chặn và độ dốc trong mô hình hồi quy mà anh ta trình bày. Ông không nói rằng việc chuẩn hóa các biến làm giảm sự cộng tuyến giữa các biến.

Tiêu chuẩn hóa không ảnh hưởng đến mối tương quan giữa các biến. Chúng vẫn giống hệt nhau. Sự tương quan nắm bắt sự đồng bộ hóa hướng của các biến. Không có gì trong tiêu chuẩn hóa làm thay đổi hướng của các biến.

Nếu bạn muốn loại bỏ tính đa hình giữa các biến của mình, tôi khuyên bạn nên sử dụng Phân tích thành phần chính (PCA). Như bạn đã biết PCA rất hiệu quả trong việc loại bỏ vấn đề đa cộng đồng. Mặt khác, PCA biểu hiện các biến kết hợp (các thành phần chính P1, P2, v.v ...) khá mờ. Một mô hình PCA luôn khó giải thích hơn nhiều so với mô hình đa biến truyền thống hơn.

Nó không làm giảm sự cộng tác, nó có thể làm giảm VIF. Thông thường chúng tôi sử dụng VIF làm chỉ báo cho mối quan tâm về cộng tác.

Nguồn: http://blog.minitab.com/blog/adventures-in-statistic-2/what-are-the-effects-of-multicollinearity-and-when-can-i-ignore-them

Tiêu chuẩn hóa là một cách phổ biến để giảm cộng tuyến. (Bạn sẽ có thể xác minh rất nhanh rằng nó hoạt động bằng cách thử nó trên một vài cặp biến.) Việc bạn có thực hiện thường xuyên hay không phụ thuộc vào mức độ cộng tác của vấn đề trong các phân tích của bạn.

Chỉnh sửa: Tôi thấy tôi đã có lỗi. Mặc dù vậy, việc chuẩn hóa làm gì là giảm tính cộng tác với các điều khoản sản phẩm (thuật ngữ tương tác).