Tại sao GLM dự đoán giá trị trung bình và không phải chế độ?

Tại sao GLM dự đoán giá trị trung bình và không phải là chế độ của tín hiệu? Điều này không mâu thuẫn với chính cơ sở đằng sau GLM, nghĩa là khả năng tối đa? Các phương trình để giải quyết các tham số mô hình trong GLM dựa trên mức tối đa hóa khả năng như được mô tả bởi phân phối xác suất của tín hiệu được mô hình hóa. Phân phối xác suất này là tối đa cho chế độ không dành cho giá trị trung bình (phân phối bình thường là một ngoại lệ: cả chế độ và giá trị trung bình đều giống nhau). Do đó, GLM nên dự đoán chế độ , không phải giá trị trung bình của tín hiệu! (Đối với một số nền tảng cho câu hỏi này xem tại đây .)

— nukimov
nguồn

Tôi hơi quá thô lỗ khi đưa ra câu trả lời này, nhưng tôi tin rằng ý tưởng là có sự phân phối các phương tiện có điều kiện và GLM cung cấp chế độ phân phối đó. (Vì vậy, đó là ước tính phương thức của giá trị trung bình.)

— Shea Parkes

Tôi đã chỉnh sửa tiêu đề của bạn để phản ánh mô hình StackExchange - câu hỏi là câu hỏi, không phải ý kiến. (Bạn nên cố gắng tránh làm cho phần thân câu hỏi của bạn nghe giống như một câu thần chú.)

— Glen_b -Reinstate Monica

Lưu ý rằng khả năng là một chức năng của các tham số, trong khi mô hình đang cố gắng mô tả phân phối dữ liệu. Không có sự mâu thuẫn. Thật vậy, hãy xem xét một hồi quy logistic cho dữ liệu nhị phân, trong đó tỷ lệ phù hợp nằm trong khoảng từ 0,2 đến 0,375. Chế độ phân phối Bernoulli trong mỗi trường hợp 0 - vì vậy bạn đang nói rằng mô hình nên hoàn toàn bằng 0? Điều đó ít hữu ích hơn nhiều so với một mô hình cho trung bình.

— Glen_b -Reinstate Monica

Chỉ cần một lưu ý phụ: chế độ phản hồi của bạn có thể cực kỳ không chính xác. Trong ví dụ cực đoan nhất, chế độ phân phối Bernoulli sẽ luôn là 0 hoặc 1.

— Cliff AB

Điều được tối đa hóa trong khả năng tối đa không phải là mật độ phân phối dữ liệu mà là khả năng của tham số.

— Glen_b -Reinstate Monica

Câu trả lời:

Mục tiêu của khả năng phù hợp tối đa là xác định các tham số của một số phân phối phù hợp nhất với dữ liệu - và nói chung, cách các tham số có thể thay đổi theo hiệp phương sai. Trong trường hợp của GLMs, chúng tôi muốn xác định các thông số của một số phân phối gia đình mũ, và làm thế nào họ là một chức năng của một số đồng biến . $\theta$ $X$

Đối với bất kỳ phân phối xác suất trong gia đình mũ overdispersed, giá trị trung bình được đảm bảo là có liên quan đến mũ tham số gia đình kinh điển thông qua liên kết chức năng kinh điển, . Chúng ta thậm chí có thể xác định một công thức chung cho và thông thường cũng không thể đảo ngược. Nếu chúng ta chỉ cần đặt và , chúng tôi tự động nhận được một mô hình cho cách và thay đổi theo $\mu$ $\mathbf{\theta}$ $\theta = g(\mu)$ $g$ $g$ $\mu = g^{-1}(\theta)$ $\theta = X\beta$ $\mu$ $\theta$ , cho dù chúng ta đang xử lý phân phối nào, và mô hình đó có thểdễ dàng và đáng tin cậy phù hợp với dữ liệu bằng cách tối ưu hóa lồi. Câu trả lời của Mattcho thấy cách thức hoạt động của bản phân phối Bernoulli, nhưng điều kỳ diệu thực sự là nó hoạt động cho mọi phân phối trong gia đình. $X$

Chế độ không được hưởng các tính chất này. Trong thực tế, như Cliff AB chỉ ra, chế độ thậm chí có thể không có mối quan hệ phỏng đoán với tham số phân phối, do đó suy luận từ chế độ có sức mạnh rất hạn chế. Lấy phân phối Bernoulli, ví dụ. Chế độ của nó là 0 hoặc 1 và biết chế độ chỉ cho bạn biết liệu , xác suất 1, lớn hơn hay nhỏ hơn 1/2. Ngược lại, giá trị trung bình cho bạn biết chính xác là gì . $p$ $p$

Bây giờ, để làm rõ một số nhầm lẫn trong câu hỏi: khả năng tối đa không phải là tìm chế độ phân phối, bởi vì khả năng không giống như chức năng phân phối. Khả năng liên quan đến phân phối mô hình của bạn trong công thức của nó, nhưng đó là nơi tương tự kết thúc. Hàm likelihood có một giá trị tham số như đầu vào, và nói với bạn như thế nào "khả năng" của bạn toàn bộ số liệu được, do sự phân bố mô hình có mà . Sự phân bố mô hình phụ thuộc vào , nhưng như một chức năng, phải mất một giá trị $L(\theta)$ $\theta$ $\theta$ $f_\theta(y)$ $\theta$ $y$ làm đầu vào và cho bạn biết tần suất một mẫu ngẫu nhiên từ phân phối đó sẽ bằng . Tối đa là và phương thức không phải là điều tương tự. $y$ $L(\theta)$ $f_\theta(y)$

Có lẽ nó giúp để xem công thức của khả năng. Trong trường hợp của IID dữ liệu , chúng ta có Các giá trị của đều cố định - họ là những giá trị từ bạn dữ liệu. Khả năng tối đa là tìm nhằm tối đa hóa . Tìm chế độ phân phối sẽ là tìm tối đa hóa $y_1,y_2,\ldots,y_n$

L (θ) = = Π_{Tôi = = 1}^{n} f_{θ} (y_{Tôi})

$L(\theta) = \prod_{i=1}^n f_\theta(y_i)$

y_{i}

$y_i$

θ

$\theta$

L (θ)

$L(\theta)$

y

$y$

, đó không phải là điều chúng ta muốn:

được cố định theo khả năng, không phải là một biến.

f_{θ} (y)

$f_\theta(y)$

y

$y$

Vì vậy, việc tìm tối đa của hàm khả năng, nói chung, không giống như tìm chế độ phân phối mô hình. (Đây là chế độ của một bản phân phối khác , nếu bạn hỏi một người Bayes khách quan, nhưng đó là một câu chuyện rất khác!)

— Paul
nguồn

Có hai điều để tranh luận ở đây:

Các sự kiện mà một glm cố gắng dự đoán là giá trị trung bình của phân phối có điều kiện và ước tính các tham số của nó theo khả năng tối đa là phù hợp. $y$ $\beta$
Ước tính các tham số theo khả năng tối đa là không xác định chế độ của bất kỳ phân phối nào. Ít nhất là không trong công thức cổ điển của một glm.

Hãy lấy glm không tầm thường đơn giản nhất làm ví dụ hoạt động, mô hình logistic. Trong hồi quy logistic, chúng ta có một phản hồi có giá trị 0, 1. Chúng tôi cho rằng là bernoulli phân phối có điều kiện trên dữ liệu của chúng tôi $y$ $y$

y ∣ X \sim B e r n o u l l i (p (X))

$y \mid X \sim Bernoulli(p(X))$

Và chúng tôi cố gắng ước tính giá trị trung bình của phân phối có điều kiện này (trong trường hợp này chỉ là ) bằng cách liên kết nó với hàm tuyến tính của $p$ $X$

\log (\frac{p}{1 - p}) = X β

$\log\left(\frac{p}{1-p}\right) = X \beta$

Tạm dừng và phản ánh, chúng ta thấy trong trường hợp này là điều tự nhiên khi muốn biết , đó là một phương tiện của phân phối có điều kiện. $p$

$p$ $\beta$ $\beta$ $y$ $X$ $\beta$

P (y ∣ X, β) = p^{y} (1 - p)^{1 - y}

$P \left( y \mid X, \beta \right) = p^y (1-p)^{1-y}$

$p$ $\beta$ $X$

$y$

$\beta$ $X$ $y$

L (β) = p^{y} (1 - p)^{1 - y}

$L(\beta) = p^y (1-p)^{1-y}$

$L$

$L$ $\beta$

— Matthew Drury
nguồn

Cảm ơn tất cả các ý kiến và câu trả lời. Mặc dù không ai trong số họ là 100% câu trả lời cho câu hỏi của tôi, nhưng tất cả chúng đều giúp tôi nhìn thấu được mâu thuẫn rõ ràng. Vì vậy, tôi quyết định tự mình đưa ra câu trả lời, tôi nghĩ đây là bản tóm tắt tất cả các ý tưởng liên quan đến các ý kiến và câu trả lời:

$f(y; \theta, \phi)$ $f$

$f(y; \theta, \phi)$ $f$ $y$ $\boldsymbol\beta$ $f$ $\boldsymbol\beta$ $y$ $\boldsymbol\beta$ $\boldsymbol\beta$ $f$ $\boldsymbol\beta$ $y$ (mà, thực sự, sẽ là chế độ), là đầu ra của quá trình tối đa hóa.
$\boldsymbol\mu$ $\boldsymbol\beta$ $\boldsymbol\mu$

— nukimov
nguồn