Hồi quy bội với biến dự báo bị thiếu

Giả sử chúng ta được cung cấp một tập hợp dữ liệu có dạng và . Chúng tôi được giao nhiệm vụ dự đoán dựa trên các giá trị của . Chúng tôi ước tính hai hồi quy trong đó: $(y,x_{1},x_{2},\cdots, x_{n})$$(y,x_{1},x_{2},\cdots, x_{n-1})$$y$$x$

Chúng tôi cũng ước tính hồi quy dự đoán các giá trị của dựa trên các giá trị của , đó là: $x_{n}$$(x_{1},\cdots, x_{n-1})$

Giả sử bây giờ chúng ta được đưa ra các giá trị của , thì chúng ta sẽ có hai phương thức khác nhau để dự đoán :$(x_{1},\cdots, x_{n-1})$$y$

Cái nào sẽ tốt hơn nói chung?

Tôi đoán rằng phương trình thứ nhất sẽ tốt hơn bởi vì nó sử dụng thông tin từ hai dạng điểm dữ liệu trong khi phương trình thứ hai sử dụng thông tin từ chỉ các điểm dữ liệu có giá trị dự đoán . Đào tạo về thống kê của tôi là hạn chế và do đó tôi muốn tìm kiếm một số lời khuyên chuyên nghiệp.$n-1$

Ngoài ra, nói chung, cách tiếp cận tốt nhất đối với dữ liệu có thông tin không đầy đủ là gì? Nói cách khác, làm thế nào chúng ta có thể trích xuất hầu hết thông tin từ dữ liệu không có giá trị ở tất cả chiều?$n$

+1, tôi nghĩ rằng đây là một câu hỏi thực sự thú vị và được nêu rõ ràng. Tuy nhiên, nhiều thông tin sẽ giúp chúng ta suy nghĩ thông qua tình huống này.

Ví dụ, mối quan hệ giữa và gì? Hoàn toàn có thể là không có, trong trường hợp đó, hồi quy không mang lại lợi thế nào so với hồi quy . (Trên thực tế, đó là một bất lợi rất nhỏ, theo nghĩa là các lỗi tiêu chuẩn sẽ lớn hơn một chút, và do đó, betas có thể hơi xa hơn, trung bình, từ các giá trị thực của chúng.) Nếu có một hàm ánh xạ đến , sau đó, theo định nghĩa, có thông tin thực sự ở đó và hồi quy sẽ tốt hơn trong tình huống ban đầu. $x_n$$y$$(1)$$(2)$$x_n$$y$$(1)$

Tiếp theo, bản chất của mối quan hệ giữa và gì? Có một cái không? Chẳng hạn, khi chúng tôi tiến hành thí nghiệm, (thường), chúng tôi cố gắng gán số lượng đơn vị nghiên cứu bằng nhau cho mỗi tổ hợp giá trị của các biến giải thích. (Cách tiếp cận này sử dụng nhiều sản phẩm của Cartesian ở các cấp độ của IV và được gọi là thiết kế 'giai thừa hoàn toàn'; cũng có trường hợp các mức được cố tình gây nhiễu để lưu dữ liệu, được gọi là thiết kế ' giai thừa phân đoạn '.) các biến giải thích là trực giao, hồi quy thứ ba của bạn sẽ mang lại kết quả tuyệt đối, chính xác là 0. Mặt khác, trong một nghiên cứu quan sát, các hiệp phương sai luôn luôn khá nhiều$(x_1, \cdots, x_{n-1})$$x_n$tương quan. Mối tương quan đó càng mạnh thì càng có ít thông tin tồn tại trong . Những sự thật này sẽ điều chỉnh giá trị tương đối của hồi quy và hồi quy . $x_n$$(1)$$(2)$

Tuy nhiên, (không may là có lẽ) nó phức tạp hơn thế. Một trong những khái niệm quan trọng, nhưng khó khăn, trong hồi quy bội là đa cộng tuyến . Nếu bạn cố gắng ước tính hồi quy , bạn sẽ thấy rằng bạn có tính đa hướng hoàn hảo và phần mềm của bạn sẽ cho bạn biết rằng ma trận thiết kế không thể đảo ngược. Do đó, trong khi hồi quy có thể cung cấp một lợi thế liên quan đến hồi quy , hồi quy sẽ không. $(4)$$(1)$$(2)$$(4)$

Câu hỏi thú vị hơn (và câu hỏi bạn đang hỏi) là gì nếu bạn sử dụng hồi quy để đưa ra dự đoán về bằng cách sử dụng giá trị ước tính từ các dự đoán hồi quy ? (Nghĩa là, bạn không ước tính hồi quy Bạn đang cắm đầu ra từ phương trình dự đoán được ước tính trong hồi quy vào mô hình dự đoán .) Điều bạn thực sự không đạt được là mới thông tin ở đây. Bất cứ thông tin nào tồn tại trong các giá trị dự đoán tiên cho mỗi quan sát đều đã được sử dụng tối ưu bằng hồi quyy x n ( 3 ) ( 4 ) ( 3 ) ( 4 ) n - 1 ( 2 $(1)$$y$$x_n$$(3)$$(4)$$(3)$$(4)$$n-1$$(2)$, vì vậy không có lợi.

Do đó, câu trả lời cho câu hỏi đầu tiên của bạn là bạn cũng có thể đi với hồi quy cho các dự đoán của mình để lưu các công việc không cần thiết. Lưu ý rằng tôi đã giải quyết vấn đề này theo một cách khá trừu tượng, thay vì giải quyết tình huống cụ thể mà bạn mô tả trong đó ai đó trao cho bạn hai bộ dữ liệu (tôi chỉ không thể tưởng tượng điều này xảy ra). Thay vào đó, tôi nghĩ về câu hỏi này là cố gắng hiểu một cái gì đó khá sâu sắc về bản chất của hồi quy. Tuy nhiên, điều xảy ra đôi khi là một số quan sát có giá trị trên tất cả các yếu tố dự đoán và một số quan sát khác (trong cùng một tập dữ liệu) bị thiếu một số giá trị trên một số dự đoán. Điều này đặc biệt phổ biến khi xử lý dữ liệu theo chiều dọc. Trong tình huống như vậy, bạn muốn điều tra nhiều lần cắt cụt . $(2)$