Liệu khả năng đăng nhập trong GLM có đảm bảo sự hội tụ đến cực đại toàn cầu không?

Câu hỏi của tôi là:

Các mô hình tuyến tính tổng quát (GLM) có được đảm bảo hội tụ đến mức tối đa toàn cầu không? Nếu vậy, tại sao?
Hơn nữa, có những ràng buộc nào trên hàm liên kết để đảm bảo độ lồi?

Sự hiểu biết của tôi về GLM là chúng tối đa hóa chức năng khả năng phi tuyến cao. Vì vậy, tôi sẽ tưởng tượng rằng có một số cực đại cục bộ và bộ tham số bạn hội tụ phụ thuộc vào các điều kiện ban đầu cho thuật toán tối ưu hóa. Tuy nhiên, sau khi thực hiện một số nghiên cứu tôi đã không tìm thấy một nguồn nào chỉ ra rằng có nhiều cực đại cục bộ. Hơn nữa, tôi không quá quen thuộc với các kỹ thuật tối ưu hóa, nhưng tôi biết phương pháp Newton-Raphson và thuật toán IRLS rất dễ bị cực đại cục bộ.

Hãy giải thích nếu có thể cả trên cơ sở trực quan và toán học!

EDIT: dksahuji đã trả lời câu hỏi ban đầu của tôi, nhưng tôi muốn thêm câu hỏi tiếp theo [ 2 ] ở trên. ("Có những ràng buộc nào đối với chức năng liên kết để đảm bảo độ lồi?")

— DankMasterDan
nguồn

Tôi nghĩ rằng một số hạn chế phải được yêu cầu trước khi có thể được như vậy. Nguồn cho tuyên bố là gì?

— Glen_b -Reinstate Monica

Một số trang web dường như ngụ ý nó tuy nhiên tôi không thể tìm thấy bất cứ điều gì đề cập đến nó hoàn toàn, vì vậy tôi cũng hoan nghênh sự không chắc chắn của nó!

— DankMasterDan

miễn là khả năng được xác định rõ ở mọi nơi trên miền (và bỏ qua một số vấn đề số tiếp tuyến) tôi nghĩ là có. Trong những điều kiện đó, hessian <0 ở mọi nơi trên miền, do đó, sự giống nhau là lõm toàn cầu. Btw, hàm không 'phi tuyến tính cao' trong các tham số và đó là điều quan trọng.

— user603

@ user603 Nguồn / bằng chứng của bạn cho thấy hessian <0 ở mọi nơi là gì?

— DankMasterDan

Hồi quy logistic, Poisson và Gaussian thường lồi với hàm liên kết "tốt". Tuy nhiên, với chức năng liên kết tùy ý, chúng không lồi.

— Ghi nhớ

Định nghĩa của gia đình hàm mũ là:

p (x | θ) = h (x) \exp (θ^{T} ϕ (x) - A (θ)),

$p(x|\theta) = h(x)\exp(\theta^T\phi(x) - A(\theta)),$

Trong đó là hàm phân vùng log. Bây giờ người ta có thể chứng minh rằng ba điều sau đây dành cho trường hợp 1D (và chúng tổng quát hóa cho các kích thước cao hơn - bạn có thể xem xét các thuộc tính của các họ theo hàm mũ hoặc phân vùng nhật ký): $A(\theta)$

$\frac{dA}{d\theta} = \mathbb{E}[\phi(x)]$
$\frac{d^2A}{d\theta^2} = \mathbb{E}[\phi^2(x)] -\mathbb{E}[\phi(x)]^2 = {\rm var}(\phi(x))$
$\frac{ \partial ^2A}{\partial\theta_i\partial\theta_j} = \mathbb{E}[\phi_i(x)\phi_j(x)] -\mathbb{E}[\phi_i(x)] \mathbb{E}[\phi_j(x)] = {\rm cov}(\phi(x)) \Rightarrow \Delta^2A(\theta) = {\rm cov}(\phi(x))$

Kết quả trên chứng minh rằng $A(\theta)$ là lồi (vì là semidefinite dương). Bây giờ chúng ta hãy xem chức năng khả năng cho MLE: ${\rm cov}(\phi(x))$

\begin{aligned} p (D | θ) & = [\prod_{i = 1}^{N} h (x_{i})] \exp (θ^{T} [\sum_{i = 1}^{N} ϕ (x_{i})] - N A (θ)) \\ \log (p (D | θ)) & = θ^{T} [\sum_{i = 1}^{N} ϕ (x_{i})] - N A (θ) \\ = θ^{T} [ϕ (D)] - N A (θ) \end{aligned}

$\begin{align} p(\mathcal{D}|\theta) &= \bigg[\prod_{i=1}^{N}{h(x_i)}\bigg]\ \exp\!\big(\theta^T[\sum_{i=1}^{N}\phi(x_i)] - NA(\theta)\big) \\ \log\!\big(p(\mathcal{D}|\theta)\big) &= \theta^T\bigg[\sum_{i=1}^{N}\phi(x_i)\bigg] - NA(\theta) \\ &= \theta^T[\phi(\mathcal{D})] - NA(\theta) \end{align}$

Bây giờ là tuyến tính trong theta và là lõm. Do đó, có một tối đa toàn cầu duy nhất. $\theta^T[\phi(\mathcal{D})]$ $-A(\theta)$

Có một phiên bản tổng quát gọi là gia đình hàm mũ cong cũng tương tự. Nhưng hầu hết các bằng chứng đều ở dạng chính tắc.

— dksahuji
nguồn

Vì vậy, điều này có nghĩa là GLM có một danh nghĩa tối thiểu toàn cầu duy nhất mà chức năng liên kết được chọn (bao gồm cả các hàm phi núi)?

— DankMasterDan

p (x | θ) = h (x) e x p (η (θ)^{T} ϕ (x) - A (η (θ)))

$p(x|\theta) = h(x)exp(\eta(\theta)^T\phi(x) - A(\eta(\theta)))$

η

$\eta$

θ

$\theta$

η

$\eta$

θ

$\theta$ .

— dksahuji

Lưu ý rằng câu hỏi hỏi về sự hội tụ, thay vì chỉ tồn tại, nhưng với một vài hạn chế, điều đó cũng có thể thực hiện được.

— Glen_b -Reinstate Monica

@Glen_b Bạn có thể giải thích? Tôi không biết bất kỳ hạn chế như vậy. Có thể một cái gì đó giống như các hạn chế về stepize trong trình tối ưu hóa dựa trên độ dốc để hội tụ bò tót trong trường hợp hàm lõm.

— dksahuji

@Glen_b Điều đó có thể đúng nói chung nhưng tôi không thể thấy bất kỳ lý do nào cho chức năng lõm để không hội tụ đến tối ưu trong giá trị chấp nhận được nhỏ. Nhưng tôi sẽ nói rằng tôi không có bất kỳ kinh nghiệm thực tế nào với những điều này và tôi mới bắt đầu. :)

— dksahuji