Trường hợp quan niệm sai lầm rằng Y phải được phân phối bình thường đến từ đâu?

Các nguồn dường như có uy tín cho rằng biến phụ thuộc phải được phân phối bình thường:

Giả định mô hình: được phân phối bình thường, lỗi được phân phối bình thường, và độc lập, và được sửa và phương sai không đổi .$Y$$e_i \sim N(0,\sigma^2)$$X$$\sigma^2$

Penn State, STAT 504 Phân tích dữ liệu rời rạc

Thứ hai, phân tích hồi quy tuyến tính đòi hỏi tất cả các biến phải đa biến thông thường.

StatisticsSolutions, Giả định của hồi quy tuyến tính

Điều này phù hợp khi biến trả lời có phân phối bình thường

Wikipedia, mô hình tuyến tính tổng quát

Có một lời giải thích tốt cho làm thế nào hoặc tại sao quan niệm sai lầm này đã lan rộng? Là nguồn gốc của nó được biết đến?

Liên quan

• Hồi quy tuyến tính và các giả định về biến phản ứng

'Y phải được phân phối bình thường'

phải?

Trong các trường hợp mà bạn đề cập, đó là ngôn ngữ cẩu thả (viết tắt 'lỗi trong Y phải được phân phối bình thường' ), nhưng họ không thực sự (mạnh mẽ) nói rằng phản hồi phải được phân phối bình thường, hoặc ít nhất là nó dường như không Tôi rằng những lời của họ đã được dự định như thế.

Tài liệu khóa học của bang Pennsylvania

nói về "một biến liên tục "$Y$ , nhưng cũng nói về " " như trong trong đó chúng ta có thể coi , như amip được gọi trong các nhận xét 'có điều kiện', thường được phân phối,$Y_i$

Bài viết sử dụng và thay thế cho nhau. Trong toàn bộ bài viết, người ta nói về 'phân phối của Y', ví dụ: $Y$$Y_i$

• khi giải thích một số biến thể của GLM (hồi quy logistic nhị phân),

  Thành phần ngẫu nhiên : Phân phối của được giả sử là , ...$Y$$Binomial(n,\pi)$

• trong một số định nghĩa

  Thành phần ngẫu nhiên - đề cập đến phân phối xác suất của biến trả lời ( ); ví dụ phân phối chuẩn cho trong hồi quy tuyến tính hoặc phân phối nhị thức cho trong hồi quy logistic nhị phân.$Y$$Y$$Y$

tuy nhiên tại một số điểm khác, họ cũng đề cập đến thay vì :$Y_i$$Y$

• Biến phụ thuộc KHÔNG cần phải được phân phối bình thường, nhưng nó thường giả sử phân phối từ một họ theo cấp số nhân (ví dụ: nhị thức, Poisson, đa thức, bình thường, ...)$Y_i$

Trang web thống kê

là một mô tả cực kỳ ngắn gọn, đơn giản, cách điệu. Tôi không chắc bạn nên nghiêm túc. Ví dụ, nó nói về

.. yêu cầu tất cả các biến là đa biến bình thường ...

vì vậy đó không chỉ là biến trả lời,

và cũng là mô tả 'đa biến' là mơ hồ. Tôi không chắc làm thế nào để có được giải thích.

Bài viết trên wikipedia

có một bối cảnh bổ sung được giải thích trong ngoặc:

Hồi quy tuyến tính thông thường dự đoán giá trị dự kiến ​​của một đại lượng chưa biết (biến phản ứng, biến ngẫu nhiên) là kết hợp tuyến tính của một tập hợp các giá trị quan sát (dự đoán) . Điều này ngụ ý rằng một sự thay đổi liên tục trong một yếu tố dự đoán dẫn đến sự thay đổi liên tục trong biến phản ứng (tức là mô hình đáp ứng tuyến tính). Điều này phù hợp khi biến trả lời có phân phối bình thường (theo trực giác, khi biến trả lời có thể thay đổi về cơ bản vô thời hạn theo một hướng không có "giá trị 0" cố định, hoặc nói chung hơn cho bất kỳ số lượng nào chỉ thay đổi theo một lượng tương đối nhỏ, ví dụ như con người độ cao).

Điều này 'không có giá trị 0 cố định' dường như chỉ ra trường hợp kết hợp tuyến tính khi có một miền vô hạn (từ trừ vô cực đến cộng vô cực) trong khi thường có nhiều biến có một số giá trị giới hạn hữu hạn (chẳng hạn như đếm không cho phép giá trị âm).$y+\epsilon$$\epsilon \sim N(0,\sigma)$

Dòng cụ thể đã được thêm vào ngày 8 tháng 3 năm 2012 , nhưng lưu ý rằng dòng đầu tiên của bài viết Wikipedia vẫn đọc "một khái quát linh hoạt của hồi quy tuyến tính thông thường cho phép các biến trả lời có mô hình phân phối lỗi khác với phân phối bình thường" và không rất nhiều (không phải ở khắp mọi nơi) sai.

Phần kết luận

Vì vậy, dựa trên ba ví dụ này (thực sự có thể tạo ra những quan niệm sai lầm, hoặc ít nhất có thể bị hiểu lầm) tôi sẽ không nói rằng "quan niệm sai lầm này đã lan rộng" . Hoặc ít nhất với tôi dường như ý định của ba ví dụ này là cho rằng Y phải được phân phối bình thường (mặc dù tôi nhớ vấn đề này đã phát sinh trước đây trên stackexchange, sự hoán đổi giữa các lỗi phân phối thông thường và biến phản ứng phân tán thông thường rất dễ thực hiện).

Vì vậy, giả định rằng 'Y phải được phân phối bình thường' đối với tôi dường như không giống như một sự tin tưởng / hiểu lầm lan rộng (như trong một điều gì đó lan truyền như cá trích đỏ), nhưng giống như một lỗi phổ biến (không lan truyền mà chỉ được tạo ra một cách độc lập ).

Bình luận thêm

Một ví dụ về lỗi trên trang web này là trong câu hỏi sau đây

Điều gì xảy ra nếu phần dư được phân phối bình thường, nhưng y thì không?

Tôi sẽ coi đây là một câu hỏi mới bắt đầu. Nó không có trong các tài liệu như tài liệu khóa học của bang Pennsylvania, trang web Wikipedia và gần đây đã ghi chú trong các bình luận cuốn sách 'Mở rộng hồi quy tuyến tính với R'.

Các nhà văn của những tác phẩm đó hiểu chính xác các tài liệu. Thật vậy, họ sử dụng các cụm từ như 'Y phải được phân phối bình thường', nhưng dựa trên ngữ cảnh và các công thức được sử dụng, bạn có thể thấy rằng tất cả đều có nghĩa là 'Y, có điều kiện trên X, phải được phân phối bình thường' chứ không phải 'biên Y phải được phân phối bình thường '. Họ không tự hiểu sai ý tưởng và ít nhất ý tưởng này không phổ biến trong các nhà thống kê và những người viết sách và các tài liệu khóa học khác. Nhưng đọc sai những từ mơ hồ của họ thực sự có thể gây ra quan niệm sai lầm.

Có một lời giải thích tốt cho làm thế nào / tại sao quan niệm sai lầm này đã lan rộng? Là nguồn gốc của nó được biết đến?

Chúng tôi thường dạy cho sinh viên đại học một phiên bản thống kê "đơn giản hóa" trong nhiều ngành. Tôi đang trong tâm lý học, và khi tôi cố gắng nói với sinh viên đại học rằng giá trị p là "xác suất của dữ liệu hay dữ liệu cực đoan khác cho rằng giả thuyết null là đúng", các đồng nghiệp nói với tôi rằng tôi đang nói chi tiết hơn tôi cần để che Rằng tôi đang làm cho nó trở nên khó khăn hơn nó, v.v. Vì các sinh viên trong các lớp học có sự thoải mái (hoặc thiếu) như vậy với các số liệu thống kê, các giảng viên thường giữ nó đơn giản: "Chúng tôi coi đó là một phát hiện đáng tin cậy nếu p <0,05, "chẳng hạn, thay vì cho họ định nghĩa thực sự của giá trị p .

Tôi nghĩ rằng đây là nơi giải thích cho lý do tại sao quan niệm sai lầm đã lan rộng. Chẳng hạn, bạn có thể viết mô hình như:

$Y = \beta_0 + \beta_1X + \epsilon$ trong đó$\epsilon \sim \text{N}(0, \sigma^2_\epsilon)$

Điều này có thể được viết lại như sau:

$Y|X \sim \text{N}(\beta_0 + \beta_1X, \sigma^2_\epsilon)$

Điều đó có nghĩa là "Y, có điều kiện trên X, thường được phân phối với giá trị trung bình của các giá trị dự đoán và một số phương sai."

Điều này rất khó để giải thích, vì vậy người viết tốc ký có thể chỉ nói: "Y phải được phân phối bình thường". Hoặc khi nó được giải thích cho họ ban đầu, mọi người đã hiểu nhầm phần điều kiện vì nó thật sự khó hiểu.

Vì vậy, trong một nỗ lực để không khiến mọi thứ trở nên phức tạp khủng khiếp, các giảng viên chỉ đơn giản hóa những gì họ đang nói để không gây nhầm lẫn quá mức cho hầu hết các sinh viên. Và sau đó mọi người tiếp tục trong giáo dục thống kê hoặc thực hành thống kê với quan niệm sai lầm đó. Bản thân tôi đã không hiểu đầy đủ về khái niệm này cho đến khi tôi bắt đầu thực hiện mô hình Bayes ở Stan, điều này đòi hỏi bạn phải viết các giả định của mình theo cách này:

model {
  vector[n_obs] yhat;

  for(i in 1:n_obs) {
    yhat[i] = beta[1] + beta[2] * x1[i] + beta[3] * x2[i];
  }

  y ~ normal(yhat, sigma);
}

Ngoài ra, trong rất nhiều gói thống kê có GUI (nhìn vào bạn, SPSS), việc kiểm tra phân phối biên có được phân phối bình thường (biểu đồ đơn giản) dễ dàng hơn so với kiểm tra xem phần dư có được phân phối bình thường không (chạy hồi quy, lưu phần dư, chạy biểu đồ trên phần dư đó).

Vì vậy, tôi nghĩ rằng quan niệm sai lầm chủ yếu là do các giảng viên cố gắng loại bỏ các chi tiết để giữ cho sinh viên không bị nhầm lẫn, chính xác và nhầm lẫn giữa những người học nó theo cách chính xác, và cả hai đều được củng cố bằng cách dễ dàng kiểm tra tính bình thường cận biên trong hầu hết các gói thống kê thân thiện với người dùng.

Phân tích hồi quy là khó khăn cho người mới bắt đầu bởi vì có những kết quả khác nhau được ngụ ý bởi các giả định bắt đầu khác nhau. Các giả định bắt đầu yếu hơn có thể biện minh cho một số kết quả, nhưng bạn có thể nhận được kết quả mạnh hơn khi bạn thêm các giả định mạnh hơn. Những người không quen thuộc với kết quả toán học đầy đủ của kết quả thường có thể hiểu sai các giả định bắt buộc cho kết quả, bằng cách đặt mô hình của họ quá yếu để có kết quả bắt buộc hoặc đặt ra một số giả định không cần thiết với niềm tin rằng những kết quả này là bắt buộc .

Mặc dù có thể thêm các giả định mạnh hơn để có kết quả bổ sung, phân tích hồi quy liên quan đến chính phân phối có điều kiện của vectơ đáp ứng. Nếu một mô hình vượt ra ngoài điều này thì nó đang đi vào lãnh thổ của phân tích đa biến và không hoàn toàn (chỉ) một mô hình hồi quy. Vấn đề còn phức tạp hơn bởi thực tế là người ta thường đề cập đến kết quả phân phối trong hồi quy mà không phải luôn luôn cẩn thận để xác định rằng chúng là phân phối có điều kiện (đưa ra các biến giải thích trong ma trận thiết kế). Trong trường hợp các mô hình vượt ra ngoài các phân phối có điều kiện (bằng cách giả sử phân phối biên cho các vectơ giải thích), người dùng nên cẩn thận để xác định sự khác biệt này; Thật không may, mọi người không phải lúc nào cũng cẩn thận với điều này.

Mô hình hồi quy tuyến tính Homoskedastic: Điểm khởi đầu sớm nhất thường được sử dụng là giả định dạng mô hình và hai thời điểm lỗi đầu tiên mà không có bất kỳ giả định nào về tính quy tắc:

Thiết lập này đủ để cho phép bạn lấy công cụ ước tính OLS cho các hệ số, công cụ ước lượng không thiên vị cho phương sai lỗi, phần dư và khoảnh khắc của tất cả các đại lượng ngẫu nhiên này (có điều kiện trên các biến giải thích trong ma trận thiết kế). Nó không cho phép bạn có được phân phối có điều kiện đầy đủ của các đại lượng này, nhưng nó cho phép kháng cáo các phân phối tiệm cận nếu lớn và một số giả định bổ sung được đặt vào hành vi giới hạn của . Để đi xa hơn, người ta thường giả sử một hình thức phân phối cụ thể cho vectơ lỗi.$n$$\boldsymbol{x}$

Lỗi thông thường: Hầu hết các phương pháp điều trị của mô hình hồi quy tuyến tính homoskedastic đều cho rằng vectơ lỗi được phân phối bình thường, kết hợp với các giả định thời điểm đưa ra:

Giả định bổ sung này đủ để đảm bảo rằng công cụ ước tính OLS cho các hệ số là MLE cho mô hình, và điều đó cũng có nghĩa là công cụ ước tính hệ số và phần dư được phân phối bình thường và công cụ ước tính cho phương sai lỗi có phân bố bình phương tỷ lệ (tất cả có điều kiện về các biến giải thích trong ma trận thiết kế). Nó cũng đảm bảo rằng vectơ đáp ứng được phân phối theo điều kiện thông thường. Điều này cho kết quả phân phối có điều kiện dựa trên các biến giải thích trong phân tích, cho phép xây dựng các khoảng tin cậy và kiểm tra giả thuyết. Nếu nhà phân tích muốn đưa ra những phát hiện về phân phối biên của phản hồi, họ cần phải đi xa hơn và giả định một phân phối cho các biến giải thích trong mô hình.

Các biến giải thích chung thông thường: Một số phương pháp điều trị của mô hình hồi quy tuyến tính homoscedastic đi xa hơn các phương pháp điều trị tiêu chuẩn và không dựa trên các biến giải thích cố định. (Có thể cho rằng đây là một sự chuyển đổi ra khỏi mô hình hồi quy và phân tích đa biến.) Mô hình phổ biến nhất của loại này giả định rằng các vectơ giải thích là các vectơ ngẫu nhiên thông thường khớp IID. Để là vectơ giải thích thứ ( hàng thứ của ma trận thiết kế) chúng ta có:$\boldsymbol{X}_{(i)}$$i$$i$

Giả định bổ sung này là đủ để đảm bảo rằng vectơ đáp ứng được phân phối bình thường. Đây là một giả định mạnh mẽ và nó thường không được áp đặt trong hầu hết các vấn đề. Như đã nêu, điều này đưa mô hình ra ngoài lãnh thổ của mô hình hồi quy và phân tích đa biến.