Ký hiệu ma trận cho hồi quy logistic


15

Trong hồi quy tuyến tính (mất bình phương), sử dụng ma trận, chúng ta có một ký hiệu rất súc tích cho mục tiêu

minimize  Axb2

Trong đó A là ma trận dữ liệu, x là các hệ số và b là đáp ứng.

Có một ký hiệu ma trận tương tự cho mục tiêu hồi quy logistic không? Tất cả các ký hiệu tôi đã thấy không thể thoát khỏi số tiền trên tất cả các điểm dữ liệu (giống như dataLlogistic(y,βTx) ).


EDIT: cảm ơn vì joceratops và câu trả lời tuyệt vời của AdamO. Câu trả lời của họ đã giúp tôi nhận ra rằng một lý do tuyến tính hồi quy có một ký hiệu ngắn gọn hơn là vì định nghĩa của các chỉ tiêu, trong đó đóng gói hình vuông và tổng hoặc ee . Nhưng trong mất mát logistic, không có định nghĩa như vậy, làm cho ký hiệu phức tạp hơn một chút.

Câu trả lời:


18

Trong hồi quy tuyến tính, giải pháp Ước tính khả năng tối đa hóa (MLE) để ước tính x có giải pháp dạng đóng sau đây (giả sử rằng A là ma trận có thứ hạng cột đầy đủ):

x^lin=argminxAxb22=(ATA)1ATb

Này được đọc là "tìm ra x giảm thiểu hàm mục tiêu, Axb22 ". Những điều tốt đẹp về đại diện cho hàm mục tiêu hồi quy tuyến tính theo cách này là chúng ta có thể giữ tất cả mọi thứ trong ký hiệu ma trận và giải quyết cho x lin bằng tay. Như Alex R. đề cập, trong thực tế, chúng tôi thường không xem xét trực tiếp ( A T A ) - 1 vì nó không hiệu quả về mặt tính toán và A thường không đáp ứng đầy đủ các tiêu chí xếp hạng. Thay vào đó, chúng tôi chuyển sang giả hành Moore-Penrosex^lin(ATA)1A. Các chi tiết giải quyết tính toán cho nghịch đảo giả có thể liên quan đến phân rã Cholesky hoặc Phân rã giá trị số ít.

Ngoài ra, giải pháp MLE để ước tính các hệ số trong hồi quy logistic là:

x^log=argminxi=1Ny(i)log(1+exTa(i))+(1y(i))log(1+exTa(i))

trong đó (giả sử từng mẫu dữ liệu được lưu theo hàng):

x là một vectơ biểu thị các hệ số hồi quy

a(i) là một vectơ đại diện choith mẫu / hàng trong ma trận dữ liệu A

y(i) là một đại lượng vô hướng trong{0,1} , vàith nhãn tương ứng vớiith mẫu

N là số mẫu dữ liệu / số hàng trong ma trận dữ liệuA .

Một lần nữa, điều này được đọc là "tìm x làm giảm thiểu hàm mục tiêu".

Nếu bạn muốn, bạn có thể mang nó một bước xa hơn và đại diện cho x log trong ký hiệu ma trận như sau:x^log

x^log=argminx[1(1y(1))1(1y(N))][log(1+exTa(1))...log(1+exTa(N))log(1+exTa(1))...log(1+exTa(N))]

x^logx^log là xấp xỉ và được thể hiện trong ký hiệu ma trận ( xem liên kết được cung cấp bởi Alex R. ).


Great. Thanks. I think the reason we do not have something like solving AAx=Ab is the reason we do not take that step more to make the matrix notation and avoid sum symbol.
Haitao Du

We do have some advantage of taking one step further, making it into matrix multiplication would make the code simpler, and in many platforms such as matlab, for loop with sum over all data, is much slower than matrix operations.
Haitao Du

5
@hxd1011: Just a small comment: reducing to matrix equations is not always wise. In the case of ATAx=ATb, you shouldn't actually try looking for matrix inverse ATA, but rather do something like a Cholesky decomposition which will be much faster and more numerically stable. For logistic regression, there are a bunch of different iteration schemes which do indeed use matrix computations. For a great review see here: research.microsoft.com/en-us/um/people/minka/papers/logreg/…
Alex R.

1
@AlexR. thank you very much. I learned that using normal equation will make the matrix conditional number squared. And QR or Cholesky would be much better. Your link is great, such review with numerical methods is always what I wanted.
Haitao Du

15

@joceratops answer focuses on the optimization problem of maximum likelihood for estimation. This is indeed a flexible approach that is amenable to many types of problems. For estimating most models, including linear and logistic regression models, there is another general approach that is based on the method of moments estimation.

The linear regression estimator can also be formulated as the root to the estimating equation:

0=XT(YXβ)

In this regard β is seen as the value which retrieves an average residual of 0. It needn't rely on any underlying probability model to have this interpretation. It is, however, interesting to go about deriving the score equations for a normal likelihood, you will see indeed that they take exactly the form displayed above. Maximizing the likelihood of regular exponential family for a linear model (e.g. linear or logistic regression) is equivalent to obtaining solutions to their score equations.

0=i=1nSi(α,β)=βlogL(β,α,X,Y)=XT(Yg(Xβ))

Where Yi has expected value g(Xiβ). In GLM estimation, g is said to be the inverse of a link function. In normal likelihood equations, g1 is the identity function, and in logistic regression g1 is the logit function. A more general approach would be to require 0=i=1nYg(Xiβ) which allows for model misspecification.

Additionally, it is interesting to note that for regular exponential families, g(Xβ)β=V(g(Xβ)) which is called a mean-variance relationship. Indeed for logistic regression, the mean variance relationship is such that the mean p=g(Xβ) is related to the variance by var(Yi)=pi(1pi). This suggests an interpretation of a model misspecified GLM as being one which gives a 0 average Pearson residual. This further suggests a generalization to allow non-proportional functional mean derivatives and mean-variance relationships.

A generalized estimating equation approach would specify linear models in the following way:

0=g(Xβ)βV1(Yg(Xβ))

With V a matrix of variances based on the fitted value (mean) given by g(Xβ). This approach to estimation allows one to pick a link function and mean variance relationship as with GLMs.

In logistic regression g would be the inverse logit, and Vii would be given by g(Xiβ)(1g(Xβ)). The solutions to this estimating equation, obtained by Newton-Raphson, will yield the β obtained from logistic regression. However a somewhat broader class of models is estimable under a similar framework. For instance, the link function can be taken to be the log of the linear predictor so that the regression coefficients are relative risks and not odds ratios. Which--given the well documented pitfalls of interpreting ORs as RRs--behooves me to ask why anyone fits logistic regression models at all anymore.


1
+1 great answer. formulate it as a root finding on derivative is really new for me. and the second equation is really concise.
Haitao Du
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.