Sự khác biệt giữa stochastic và hồi quy cố định trong mô hình hồi quy tuyến tính là gì?

Nếu chúng ta có các biến hồi quy ngẫu nhiên, chúng ta sẽ vẽ các cặp ngẫu nhiên $(y_i,\vec{x}_i)$ cho một loạt các $i$, cái gọi là mẫu ngẫu nhiên, từ một phân phối xác suất cố định nhưng không xác định $(y,\vec{x})$. Về mặt lý thuyết, mẫu ngẫu nhiên cho phép chúng ta tìm hiểu hoặc ước tính một số tham số của phân phối$(y,\vec{x})$.

Nếu chúng ta có các biến hồi quy cố định, về mặt lý thuyết, chúng ta chỉ có thể suy ra một số tham số nhất định về $k$ phân phối có điều kiện, $y\mid x_i$ cho $i=1,2,\dots,k$ mỗi nơi $x_i$không phải là một biến ngẫu nhiên, hoặc là cố định. Cụ thể hơn, các hồi quy ngẫu nhiên cho phép chúng ta ước tính một số tham số của toàn bộ phân phối$(y,\vec{x})$ trong khi các biến hồi quy cố định chỉ cho phép chúng tôi ước tính các tham số nhất định của các phân phối có điều kiện $(y,\vec{x_i})\mid x_i$.

Hậu quả là các hồi quy cố định không thể được khái quát cho toàn bộ phân phối. Ví dụ, nếu chúng ta chỉ có$x=1,2,3,\dots,99$ trong mẫu là các biến hồi quy cố định, chúng ta không thể suy ra bất cứ điều gì về $100$ hoặc là $99.9$, nhưng hồi quy ngẫu nhiên có thể.

Đây thực sự là một câu hỏi khá mơ hồ vì nhiều sách giáo khoa chỉ nói về sự khác biệt trong đạo hàm toán học nhưng tránh thảo luận về sự khác biệt trong phạm vi chúng có thể được khái quát về mặt lý thuyết. Tôi đã tìm kiếm sự giúp đỡ từ giáo sư thống kê của mình nhưng anh ấy không biết câu trả lời.

Đề nghị của tôi là tập thói quen gọi các biến hồi quy "cố định" là "xác định". Điều này thực hiện hai điều: thứ nhất, nó xóa đi sự hiểu lầm không thường xuyên rằng "cố định" có nghĩa là "bất biến". Thứ hai, nó rõ ràng tương phản với "stochastic", và cho chúng ta biết rằng các biến hồi quy được quyết định (do đó thuật ngữ "ma trận thiết kế" xuất phát từ các trường trong đó các biến hồi quy là ... xác định).

Nếu các biến hồi quy là xác định, chúng không có phân phối, vì vậy chúng không có thời điểm, ví dụ như giá trị mong đợi. Phần tử ngẫu nhiên duy nhất trong mẫu, nằm trong thuật ngữ lỗi (và do đó trong biến phụ thuộc).

Điều này có hàm ý cơ bản rằng một mẫu có một và một biến hồi quy xác định khác nhau không còn là một mẫu phân phối giống hệt nhau :

và kể từ khi xác định $x_i$Các biến thể khác nhau, theo sau đó là biến phụ thuộc không có cùng giá trị mong đợi cho tất cả $i$'S. Nói cách khác, không có một phân phối, mỗi phân phối$y_i$ có cái riêng (có thể thuộc cùng một họ, nhưng có thông số khác nhau).

Vì vậy, bạn thấy nó không phải là về những khoảnh khắc có điều kiện, những tác động của các hồi quy xác định liên quan đến những khoảnh khắc vô điều kiện. Ví dụ: tính trung bình của biến phụ thuộc ở đây không cho chúng ta bất cứ điều gì có ý nghĩa, ngoại trừ thống kê mô tả cho mẫu.

Đảo ngược điều đó để thấy hàm ý: nếu $y_i$Chúng được rút ra từ một quần thể các biến ngẫu nhiên giống hệt nhau, theo nghĩa nào và với tính hợp lệ nào chúng ta sẽ liên kết chúng với các biến hồi quy xác định? Chúng ta luôn có thể hồi quy một loạt các số trên một ma trận các số khác: nếu chúng ta sử dụng bình phương nhỏ nhất thông thường, chúng ta sẽ ước tính phép chiếu trực giao liên quan. Nhưng điều này là không có ý nghĩa thống kê.

Cũng lưu ý rằng $E(y_i \mid x_i) = E(y_i)$. Điều này có nghĩa là$y_i$ là "độc lập trung bình" từ $x_i$? Không, đây sẽ là giải thích nếu$x_i$là ngẫu nhiên. Ở đây, nó cho chúng ta biết rằng không có sự phân biệt giữa các khoảnh khắc vô điều kiện và có điều kiện, khi các hồi quy xác định có liên quan.

Chúng ta chắc chắn có thể dự đoán với các hồi quy xác định.$b$ là một đặc điểm chung của tất cả$y_i$và chúng ta có thể khôi phục nó bằng các hồi quy xác định. Sau đó, chúng ta có thể lấy một biến hồi quy có giá trị ngoài mẫu và dự đoán giá trị của giá trị tương ứng$y$.

Tôi không nghĩ rằng bạn mô tả hồi quy cố định một cách chính xác. Trong fixedbối cảnh này có nghĩa là bạn có thể chọn bất kỳ cấp độ nào bạn quyết định.

Giả sử, bạn đang nghiên cứu ngừng hoạt động trang web như là một chức năng của các tham số của máy chủ Web và tải. Hãy xem xét hai cách tiếp cận khác nhau:

• a. bạn làm điều đó trong phòng thí nghiệm thử tải tại công ty của bạn (in vitro)
• b. bạn làm điều đó trên máy chủ sản xuất trực tiếp (in vivo)

A. Trong phòng thí nghiệm kiểm tra tải, bạn có thể đặt bất kỳ mức tải nào cũng như mọi tham số mong muốn của máy chủ Web. Bạn có thể tải nó với 1.000 máy khách đồng thời và kích thước nhóm công nhân 100 và bộ nhớ 100GB; hoặc bạn chỉ có thể có 10 máy khách đồng thời, 10 luồng và 1GB, v.v.

Trong trường hợp này, fixedma trận thiết kế của bạn sẽ có bốn cột: chặn và ba biến. Nó được cố định vì không có gì ngẫu nhiên về các mức biến. Bạn biết các giá trị chính xác của từng biến và bạn muốn chosechúng như bạn muốn.

B. Trên máy chủ sản xuất trực tiếp, bạn có thể chỉ có thể kiểm soát một số tham số và chắc chắn không thể kiểm soát tải: khách hàng sẽ đến và đi theo ý muốn. Vì vậy, ít nhất tải sẽ là ngẫu nhiên. Ngay cả các tham số cũng không hoàn toàn cố định: sau tất cả những gì bạn muốn máy chủ vẫn chạy và phục vụ khách hàng trong khi bạn đang kiểm tra nó. Có lẽ bạn có thể chơi với các thiết lập nhóm bộ nhớ và luồng trong một số phạm vi. Vì vậy, trong trường hợp tốt nhất, bạn chỉ có thể đặt hai biến trong số ba biến hồi quy thực.

Bạn có ma trận thiết kế ngẫu nhiên trong trường hợp này. Bạn chỉ có thể quan sát tải, đó là biến hồi quy ở đây. Đây là một biến ngẫu nhiên.

Không cần phải nói rằng phân tích dễ dàng và mạnh mẽ hơn nhiều khi bạn có một ma trận thiết kế cố định.

Đầu tiên, hồi quy là gì? Xem Định nghĩa và phân định mô hình hồi quy có một số bất đồng về khái niệm rất rộng này, nhưng chủ yếu là về mô hình phân phối có điều kiện (hoặc một số khía cạnh của nó)$Y$ đưa ra một số dự đoán $x$.

Vì vậy, cho rằng chúng ta sẽ điều kiện$x$Tại sao nó lại quan trọng nếu $x$là ngẫu nhiên hay xác định lúc đầu? Xem câu hỏi tương tự Sự khác biệt giữa điều hòa trên các biến hồi quy so với coi chúng là cố định là gì? .

Tôi đoán sau đó rằng thứ hồi quy ngẫu nhiên này có vẻ lộn xộn như vậy bởi vì nó thực sự là một con quái vật nhiều đầu (hơi giống chủ nghĩa xã hội, bạn cắt một đầu và một số khác phát triển ra.) Vì vậy, chúng ta phải xem xét những lý do có thể làm mô hình hồi quy là ngẫu nhiên. Tôi thử một danh sách ngắn, chắc chắn là không đầy đủ:

1. Lỗi đo lường trong các biến hồi quy $x$. Điều này cũng có thể xảy ra ngay cả với các thí nghiệm được thiết kế với các hồi quy xác định, do đó dường như là một vấn đề riêng. Xem các thẻlỗi trong biến hoặc là lỗi đo lường.

2. Các vấn đề với việc thu thập dữ liệu gây ra các vấn đề về suy luận, như các biến hồi quy tương quan với thuật ngữ lỗi, hồi quy riêng với các thuật ngữ lỗi tương quan và nhiều vấn đề khác được nghiên cứu trong kinh tế lượng và nguyên nhân diễn ra, không thể được mô hình hóa với các hồi quy xác định.

3. Các mô hình với các giá trị độ trễ của phản hồi như một công cụ dự đoán. Điều này thường được thực hiện với các biến hồi quy được coi là xác định, điều này có vẻ lạ đối với tôi. Sau đó$Y$ được coi là ngẫu nhiên trong một phần của mô hình và là xác định trong phần khác ...

Dường như với tôi rằng nhiều trường hợp này được điều trị tốt nhất theo cách riêng của nó, và không được dán nhãn rất rộng như các hồi quy ngẫu nhiên.