Không trực giao có nghĩa là gì trong bối cảnh thống kê?

60

Trong các bối cảnh khác, trực giao có nghĩa là "ở góc bên phải" hoặc "vuông góc".

Không trực giao có nghĩa là gì trong một bối cảnh thống kê?

Cảm ơn cho bất kỳ làm rõ.

descriptive-statistics

2

Cảm ơn câu hỏi. Tôi đã hỏi một câu tổng quát hơn: những gì rất phổ biến trong tất cả các trường hợp trực giao. Tôi cũng quan tâm để biết làm thế nào độc lập thống kê đáp ứng tài sản này? vật lý.stackexchange.com / questions / 67506

— Val

5

Tôi ngạc nhiên rằng không có câu trả lời nào ở đây đề cập rằng thông thường nó có nghĩa theo nghĩa "đại số tuyến tính" toán học của từ này. Ví dụ, khi chúng ta nói về một "bộ trực giao của các biến" thường nó có nghĩa rằng cho ma trận với tập hợp các biến . "trực giao" cũng được sử dụng.

X^{T} X = I

$X^{T}X=I$

X

$X$

— xác suất

4

@probability "Trực giao" có ý nghĩa đối với không gian vectơ có dạng bậc hai : hai vectơ và là trực giao khi và chỉ khi . "Trực giao" có nghĩa là ngoài rằng . Do đó "trực giao" và "trực giao" không đồng nghĩa với nhau, cũng không bị giới hạn trong các ma trận hữu hạn. ( Ví dụ , và có thể yếu tố của một không gian Hilbert, chẳng hạn như không gian của chức năng phức tạp có giá trị trên được sử dụng trong cơ học lượng tử cổ điển.)

Q

$Q$

v

$v$

w

$w$

Q (v, w) = 0

$Q(v,w)=0$

Q (v, v) = 1 = Q (w, w)

$Q(v,v)=1=Q(w,w)$

v

$v$

w

$w$

L^{2}

$L^2$

R^{3}

$\mathbb{R}^3$

— whuber

Liên kết này có thể giúp hiểu được kết nối (không) về tính trực giao và tương quan. alecospapadopoulos.wordpress.com/2014/08/16/ từ

— RBirkelbach

Bộ sưu tập ngày càng tăng của các câu trả lời khác nhau (nhưng chính xác) cho thấy đây là một chủ đề CW tốt.

— whuber

-16

Điều đó có nghĩa là chúng [các biến ngẫu nhiên X, Y] là 'độc lập' với nhau. Các biến ngẫu nhiên độc lập thường được coi là 'góc vuông' với nhau, trong đó 'góc vuông' có nghĩa là tích trong của hai giá trị là 0 (một điều kiện tương đương từ đại số tuyến tính).

Ví dụ, trên mặt phẳng XY, trục X và Y được gọi là trực giao bởi vì nếu giá trị x của một điểm nhất định thay đổi, giả sử đi từ (2,3) đến (5,3), giá trị y của nó vẫn giữ nguyên (3), và ngược lại. Do đó, hai biến là "độc lập".

Xem thêm các mục của Wikipedia về Độc lập và Tính trực giao

— đồ điên
nguồn

24

Bởi vì sự phân biệt giữa tương quan và thiếu phụ thuộc là rất quan trọng, đánh đồng tính trực giao với độc lập không phải là một việc nên làm.

— whuber

Vì cả OP và người trả lời đã không hoạt động trong hơn một năm, có lẽ nên chỉnh sửa điều này để ít nhất làm cho nó trở thành một câu trả lời rõ ràng . Tôi đã thử điều đó.

— Assad Ebrahim

1

Một ví dụ phổ biến cho vấn đề này trong thống kê là PCA so với ICA, với PCA thực thi tính trực giao và ICA tối đa hóa tính độc lập.

— jona

5

Đối với người điều hành: Thật xấu hổ vì câu hỏi hay và rất phổ biến này, bị "mắc kẹt" với một câu trả lời mà rất nhiều người nghĩ sẽ bị hạ cấp tốt hơn (điểm hiện tại -4). Vì cả OP và người trả lời đã không hoạt động trong hơn một năm, có lẽ kiểm tra "được chấp nhận" có thể được gỡ bỏ và câu hỏi được để lại "mở". Các câu trả lời đầy đủ hơn dưới đây nói cho chính họ.

— Assad Ebrahim

1

@Assad mod không thể loại bỏ sự chấp nhận của OP. Đó là tỉnh của OP.

— Glen_b

33

Tôi không thể đưa ra nhận xét vì tôi không có đủ điểm, vì vậy tôi buộc phải nói lên suy nghĩ của mình như một câu trả lời, xin vui lòng tha thứ cho tôi. Từ nhỏ tôi biết, tôi không đồng ý với câu trả lời được chọn bởi @crazyjoe vì tính trực giao được định nghĩa là

E [X Y^{⋆}] = 0

$E[XY^{\star}] = 0$

Vì thế:

Nếu với pdf đối xứng thì chúng phụ thuộc trực giao. $Y=X^2$

Nếu nhưng pdf 0 cho các giá trị âm, thì chúng phụ thuộc nhưng không trực giao. $Y=X^2$

Do đó, tính trực giao không bao hàm sự độc lập.

— người dùng497804
nguồn

2

Dấu sao (sao) trong gì?

Y^{*}

$Y^{*}$

— Mugen

2

@mugen, có lẽ chỉ ra liên hợp phức tạp.

— A. Donda

Lưu ý đến bản thân (và có thể cho người khác) - Tôi tin rằng (đối với các hàm có giá trị thực chúng ta có thể loại bỏ với liên hợp phức (?)) Là sản phẩm bên trong của các biến ngẫu nhiên và , được định nghĩa là kỳ vọng về sản phẩm pdf của họ:

E [X Y]

$E[XY]$

X

$X$

Y

$Y$

⟨ X, Y ⟩ = E [X Y]

$\langle X,Y\rangle=E[XY]$

— Antoni Parellada

21

Nếu X và Y độc lập thì chúng là trực giao. Nhưng điều ngược lại là không đúng như được chỉ ra bởi ví dụ thông minh của user497804. Đối với các định nghĩa chính xác tham khảo

Trực giao: Các biến ngẫu nhiên có giá trị phức tạp và được gọi là trực giao nếu chúng thỏa mãn $C_1$ $C_2$ ${\rm cov}(C_1,C_2)=0$

(Trang 37, Xác suất và quy trình ngẫu nhiên của Geoffrey Grimmett và David Stirzaker)

Độc lập: Các biến ngẫu nhiên và là độc lập khi và chỉ khi cho tất cả $X$ $Y$ $F(x,y) = F_X(x)F_Y(y)$ $x,y \in \mathbb{R}$

trong đó, đối với các biến ngẫu nhiên liên tục, tương đương với yêu cầu $f(x,y) = f_X(x)f_Y(y)$

(Trang 99, Xác suất và quy trình ngẫu nhiên của Geoffrey Grimmett và David Stirzaker)

— Naresh
nguồn

21

@Mien đã cung cấp một câu trả lời, và, như được chỉ ra bởi @whuber, trực giao có nghĩa là không tương quan. Tuy nhiên, tôi thực sự mong mọi người sẽ cung cấp một số tài liệu tham khảo. Bạn có thể xem xét các liên kết sau hữu ích vì chúng giải thích khái niệm tương quan từ góc độ hình học.

Hình học của vectơ (xem trang 7)
Các biến độc lập tuyến tính, trực giao và không tương quan
Biểu diễn đồ họa của tương quan hai chiều trong không gian vectơ (có thể không miễn phí đối với bạn)

— Bernd Weiss
nguồn

1

Liên kết thứ hai giải thích mọi thứ tôi muốn biết. Cảm ơn! :)

— Lenar Hoyt

Các biến ngẫu nhiên có giá trị thực Xvà Ykhông tương quan khi và chỉ khi các biến trung tâm X-E(X)và Y-E(Y)trực giao. [ref]

— knedlsepp 14/07/2015

1

@Bernd Hai liên kết đầu tiên không hoạt động.

— áp đảo

@overazedmed Tôi đoán đây là bài viết mà liên kết thứ hai đang trỏ đến.

— Josh O'Brien

8

Một trang web của NIST (tham khảo bên dưới) định nghĩa trực giao như sau: "Thiết kế thử nghiệm là trực giao nếu các hiệu ứng của bất kỳ yếu tố nào cân bằng (tổng bằng không) qua các tác động của các yếu tố khác."

Trong deisgn thống kê, tôi hiểu trực giao có nghĩa là "không đồng sáng lập" hoặc "không bí danh". Điều này rất quan trọng khi thiết kế và phân tích thử nghiệm của bạn nếu bạn muốn đảm bảo rằng bạn có thể xác định rõ các yếu tố / phương pháp điều trị khác nhau. Nếu thử nghiệm được thiết kế của bạn không trực giao, thì điều đó có nghĩa là bạn sẽ không thể tách biệt hoàn toàn các tác động của các phương pháp điều trị khác nhau. Do đó, bạn sẽ cần tiến hành một thử nghiệm tiếp theo để giải mã hiệu ứng. Điều này sẽ được gọi là deisgn tăng cường hoặc thiết kế so sánh.

Độc lập dường như là một lựa chọn từ kém vì nó được sử dụng trong rất nhiều khía cạnh khác của thiết kế và phân tích.

Tham khảo NIST http://www.itl.nist.gov/div898/handbook/pri/section7/pri7.htm

— Chris
nguồn

3

+1 để giới thiệu bối cảnh thiết kế thử nghiệm. Từ "trực giao" xứng đáng được sử dụng ở đây bởi vì nó thực sự giống hệt như khái niệm toán học: các vectơ (cột) đại diện cho các yếu tố trong thí nghiệm, được coi là các yếu tố của không gian Euclide, thực sự sẽ là trực giao (bên phải các góc, với một sản phẩm không có dấu chấm) trong một thiết kế trực giao.

— whuber

2

Rất có thể họ có nghĩa là 'không liên quan' nếu họ nói 'trực giao'; nếu hai yếu tố là trực giao (ví dụ trong phân tích nhân tố), chúng không liên quan đến nhau, tương quan của chúng bằng không.

— Miên
nguồn

3

Hệ số tương quan là (hoặc có thể hiểu một cách tự nhiên là) cosin của một góc. Khi nó bằng 0, bạn nghĩ góc là gì? :-) Uncorrelated không có nghĩa là không liên quan!

— whuber

Tôi không nói bạn sai, nhưng bạn có thể cho tôi một ví dụ về điều gì đó không liên quan và liên quan; hoặc ngược lại? Tôi không chắc tôi hiểu sự khác biệt.

— Miên

Và vâng, tôi biết rằng góc đó sẽ là 90 °. Một góc vuông là trực giao.

— Miên

5

Đặt là biến ngẫu nhiên lấy các giá trị trong với xác suất bằng nhau và đặt . Mối tương quan giữa và là , nhưng rõ ràng họ có liên quan: là một hàm của .

X

$X$

{- 1, 0, 1}

$\{-1,0,1\}$

Y = X^{2}

$Y=X^2$

X

$X$

Y

$Y$

ρ_{X, Y} = 0

$\rho_{X,Y}=0$

Y

$Y$

X

$X$

— giả định

À vâng, cảm ơn bạn. Nhưng điều ngược lại là không thể, phải không (nếu không có biến thứ ba hoặc tương tự)?

— Miên

2

Theo http://terpconnect.umd.edu/~bmomen/BIOM621/LineardepCorrOrthogonal.pdf , tính độc lập tuyến tính là điều kiện cần thiết cho tính trực giao hoặc không tương quan. Nhưng có sự phân biệt tốt hơn, đặc biệt, tính trực giao không phải là không tương quan.

— người dùng45059
nguồn

1

Tôi đã hỏi một câu hỏi tương tự Mối quan hệ giữa tính trực giao và kỳ vọng về sản phẩm của RV và tôi tái tạo câu trả lời ở đây. Mặc dù tính trực giao là một khái niệm từ Đại số tuyến tính, và điều đó có nghĩa là sản phẩm chấm của hai vectơ bằng 0, thuật ngữ này đôi khi được sử dụng một cách lỏng lẻo trong thống kê và có nghĩa là không tương quan. Nếu hai vectơ ngẫu nhiên là trực giao, thì đối tác tập trung của chúng không tương quan, bởi vì tính trực giao (số 0 của sản phẩm) ngụ ý không tương quan của các vectơ ngẫu nhiên tập trung (đôi khi mọi người nói rằng tính trực giao ngụ ý rằng thời điểm giao nhau là 0). Bất cứ khi nào chúng ta có hai Vectơ ngẫu nhiên , chúng ta luôn có thể tập trung chúng xung quanh phương tiện của chúng để làm cho kỳ vọng của chúng bằng không. Giả sử tính chất động mạch ( $(X,Y)$ $X\cdot Y=0$ ), sau đó mối tương quan của các biến ngẫu nhiên tập trung là

C o v (X - E [X], Y - E [Y]) = E [X \cdot Y] = E [0] = 0 ⟹ C o r r (X - E [X], Y - E [Y]) = 0

$Cov(X-E[X],Y-E[Y]) = E[X\cdot Y]= E[0]=0\implies \\Corr(X-E[X],Y-E[Y])=0$

— Diogo
nguồn

1

Trong kinh tế lượng, giả định trực giao có nghĩa là giá trị dự kiến của tổng tất cả các lỗi là 0. Tất cả các biến của một biến hồi quy là trực giao với các thuật ngữ lỗi hiện tại của chúng.

Về mặt toán học, giả định trực giao là . $E(x_{i}·ε_{i}) = 0$

Nói một cách đơn giản hơn, điều đó có nghĩa là một biến hồi quy là "vuông góc" với thuật ngữ lỗi.

— Leopold W.
nguồn

-2

Hai hoặc nhiều IV không liên quan (độc lập) với nhau nhưng cả hai đều có ảnh hưởng đến DV. Mỗi IV riêng biệt đóng góp một giá trị riêng biệt cho kết quả, trong khi cả hai hoặc tất cả các IV cũng đóng góp theo kiểu phụ gia trong dự đoán thu nhập (orthogonal = ảnh hưởng của IV không giao nhau đối với DV). IV không tương quan với nhau và thường được đặt ở một góc vuông * xem Biểu đồ Venn.

Ví dụ: Mối quan hệ giữa động lực và số năm giáo dục về thu nhập.

IV = Năm học IV = Động lực DV = Thu nhập

https://onlinecferences.science.psu.edu/stat505/node/167

— Pat
nguồn

-2

Các biến ngẫu nhiên liên quan có nghĩa là các biến nói X và Y có thể có bất kỳ mối quan hệ nào; có thể là tuyến tính hoặc phi tuyến tính. Các thuộc tính độc lập và trực giao là như nhau nếu hai biến có liên quan tuyến tính.

— J Subramani
nguồn

2

Điều này duy trì sai lầm do crazyjoe: tính trực giao không bao hàm sự độc lập trừ khi các biến được phân phối chung.

— whuber