Làm thế nào có thể hồi quy logistic tạo ra các đường cong không phải là các chức năng truyền thống?

15

Tôi nghĩ rằng tôi có một số nhầm lẫn cơ bản về cách các chức năng trong hồi quy Logistic hoạt động (hoặc có thể chỉ là toàn bộ chức năng).

Làm thế nào mà hàm h (x) tạo ra đường cong nhìn thấy ở bên trái của hình ảnh?

Tôi thấy rằng đây là một biểu đồ gồm hai biến nhưng sau đó hai biến này (x1 & x2) cũng là đối số của chính hàm đó. Tôi biết các chức năng tiêu chuẩn của một bản đồ biến thành một đầu ra nhưng chức năng này rõ ràng không làm điều đó-- và tôi không hoàn toàn chắc chắn tại sao.

Trực giác của tôi là đường cong màu xanh / hồng không thực sự được vẽ trên biểu đồ này mà là một đại diện (hình tròn và chữ X) được ánh xạ tới các giá trị ở chiều tiếp theo (thứ 3) của biểu đồ. Là lý do này bị lỗi và tôi chỉ thiếu một cái gì đó? Cảm ơn cho bất kỳ cái nhìn sâu sắc / trực giác.

logistic data-visualization function

— Sam
nguồn

8

Hãy chú ý đến các nhãn trục, lưu ý rằng không được dán nhãn

.

y

$y$

— Matthew Drury

3

"Chức năng truyền thống" sẽ là gì?

— whuber

@matthewDrury Tôi hiểu điều đó và điều này giải thích cho 2D X / Os. Tôi đang hỏi đường cong được vẽ từ đâu đến

— Sam

19

Đây là một ví dụ về overfitting trên Coursera khóa học về ML bởi Andrew Ng trong trường hợp của một mô hình phân loại với hai tính năng , trong đó giá trị đích thực được tượng trưng bằng và và ranh giới quyết định là được thiết kế chính xác cho tập huấn thông qua việc sử dụng các thuật ngữ đa thức bậc cao. $(x_1, x_2)$ $\color{red}{\large \times}$ $\color{blue}{\large\circ},$

Vấn đề mà nó cố gắng minh họa liên quan đến thực tế là, mặc dù đường quyết định ranh giới (đường cong màu xanh lam) không phân loại sai bất kỳ ví dụ nào, khả năng khái quát hóa ra khỏi tập huấn luyện sẽ bị tổn hại. Andrew Ng tiếp tục giải thích rằng chính quy hóa có thể giảm thiểu hiệu ứng này và vẽ đường cong màu đỏ như là một ranh giới quyết định ít chặt chẽ hơn đối với tập huấn luyện, và có nhiều khả năng khái quát hơn.

Liên quan đến câu hỏi cụ thể của bạn:

Trực giác của tôi là đường cong màu xanh / hồng không thực sự được vẽ trên biểu đồ này mà là một đại diện (hình tròn và chữ X) được ánh xạ tới các giá trị ở chiều tiếp theo (thứ 3) của biểu đồ.

Không có chiều cao (chiều thứ ba): có hai loại, và và quyết định chương trình dòng như thế nào mô hình được tách chúng. Trong mô hình đơn giản hơn $(\large\times$ $\large\circ),$

h_{θ} (x) = g (θ_{0} + θ_{1} x_{1} + θ_{2} x_{2})

$h_\theta(x)=g\left(\theta_0 + \theta_1 \, x_1 + \theta_2 \, x_2 \right)$

ranh giới quyết định sẽ là tuyến tính.

Có lẽ bạn có ý nghĩ gì đó như thế này, ví dụ:

5 + 2 x - 1.3 x^{2} - 1.2 x^{2} y + 1 x^{2} y^{2} + 3 x^{2} y^{3}

$5 + 2 x - 1.3 x^2 -1.2 x^2 y + 1 x^2 y^2 + 3 x^2 y^3$

$g(\cdot)$ $x_1$ $x_2$ $\large \times$ $\large($ $\large \circ).$ $(1,0)$

$(x_1,x_2)$ $\large \times$ $\large \circ$ $\color{red}{\large \times}$ $\color{blue}{\large \circ}$ $\large \times$ $\large \circ$ mục blog này trên R-blogger ).

Lưu ý mục trong Wikipedia về ranh giới quyết định :

Trong một vấn đề phân loại thống kê với hai lớp, ranh giới quyết định hoặc bề mặt quyết định là một siêu mặt phân chia không gian vectơ cơ bản thành hai bộ, một cho mỗi lớp. Trình phân loại sẽ phân loại tất cả các điểm ở một phía của ranh giới quyết định là thuộc về một lớp và tất cả các điểm ở phía bên kia thuộc về lớp khác. Ranh giới quyết định là khu vực của một không gian vấn đề trong đó nhãn đầu ra của phân loại không rõ ràng.

$∈[0,1]),$

$3$

$y_1 = h_\theta(x)$ $\mathbf W$ $(\Theta)$ $\Theta$

Tham gia nhiều nơ-ron thần kinh, các siêu phẳng tách biệt này có thể được thêm và trừ để kết thúc với các hình dạng thất thường:

Điều này liên kết đến các định lý gần đúng phổ quát .

— Antoni Parellada
nguồn

1

+1 luôn thích đọc câu trả lời của bạn. Nó có thể tốt hơn nữa nếu bạn có thể có một mặt phẳng quyết định giao với cốt truyện của bạn. để hiển thị một số ở trên và một số dưới.

— Haitao Du

Cảm ơn rất nhiều vì điều này. Tôi vẫn cảm thấy như thể tôi đang thiếu một cái gì đó nhỏ về đường cong-- điều này có nghĩa là ranh giới quyết định không thực sự bị "vẽ" mà chỉ là cách Andrew Ng chỉ ra các ngưỡng giá trị của x1 & x2 gây ra giả thuyết là × hoặc ∘? Tôi nghĩ rằng một số nhầm lẫn của tôi xuất phát từ cách đường cong đó có thể là một chức năng ở nơi đầu tiên, nhưng bây giờ tôi nhận ra nó không phải.

— Sam

1

@AntoniParellada Điều này thật tuyệt, tôi thấy sự khác biệt bây giờ. Cảm ơn rất nhiều vì sự giúp đỡ.

— Sam

0

Chúng tôi đã có một số nhà toán học hạng nặng trả lời câu hỏi này. Tôi chưa bao giờ thấy một sơ đồ như bạn mô tả ở đây, với các giá trị cho các yếu tố dự đoán X1 và X2 và đường 'ranh giới quyết định' tách biệt các mặt tích cực dự đoán với các phủ định dự đoán. (hoặc đó là bản đồ dự đoán so với kết quả thực tế?) Nhưng nó rất hữu ích --- miễn là bạn chỉ có hai dự đoán về mối quan tâm mà bạn muốn lập bản đồ.
Dường như dòng màu đỏ tươi tách biệt các mặt tích cực dự đoán với các tiêu cực dự đoán, trong khi dòng màu xanh đậm bao gồm tất cả các dương tính. Đây thường là trường hợp trong hồi quy logistic: mô hình sẽ dự đoán chính xác kết quả cho ít hơn 100% các trường hợp (và sẽ dự đoán một số dương tính giả và / hoặc âm tính giả).
Có thể chạy hồi quy logistic và có thủ tục tạo hàm h (x) cho từng trường hợp riêng lẻ trong tập dữ liệu. Điều này sẽ tạo ra điểm số xu hướng cho từng đối tượng, từ 0 đến 1, mang lại khả năng dự đoán hoặc xác suất kết quả khả quan cho từng đối tượng dựa trên các biến dự đoán của đối tượng đó, dựa trên mô hình hồi quy logistic sử dụng tất cả các đối tượng. Những người ở ngưỡng giới hạn điểm từ 0,5 trở lên được dự đoán sẽ có kết quả và những người dưới 0,5 được dự đoán sẽ không có kết quả. Nhưng bạn có thể điều chỉnh mức cắt này khi bạn thấy phù hợp, ví dụ để tạo mô hình dự đoán chẩn đoán về một số kết quả dựa trên tất cả các biến đầu vào được nhập trong phân tích hồi quy logistic của bạn. Bạn có thể đặt ngưỡng cắt ở 0,3 chẳng hạn. Sau đó, bạn có thể thực hiện bảng 2X2 về kết quả dự đoán so với thực tế và xác định độ nhạy, độ đặc hiệu, tỷ lệ dương tính giả và tỷ lệ âm tính giả của mô hình dựa trên mức cắt này. Điều này cung cấp thêm thông tin và cũng giải phóng bạn khỏi giới hạn của 2 biến được sử dụng trong biểu đồ của bạn. Bạn có thể sử dụng nhiều dự đoán như bạn có thể phù hợp một cách hợp lý trong mô hình và vẫn tạo một bảng 2X2 về kết quả thực tế so với dự đoán. Do hồi quy logistic sử dụng kết quả phân loại (có - không), mỗi ô trong bảng 2X2 chỉ đơn giản là một số đối tượng đáp ứng tiêu chí hàng và cột. Bạn có thể sử dụng nhiều dự đoán như bạn có thể phù hợp một cách hợp lý trong mô hình và vẫn tạo một bảng 2X2 về kết quả thực tế so với dự đoán. Do hồi quy logistic sử dụng kết quả phân loại (có - không), mỗi ô trong bảng 2X2 chỉ đơn giản là một số đối tượng đáp ứng tiêu chí hàng và cột. Bạn có thể sử dụng nhiều dự đoán như bạn có thể phù hợp một cách hợp lý trong mô hình và vẫn tạo một bảng 2X2 về kết quả thực tế so với dự đoán. Do hồi quy logistic sử dụng kết quả phân loại (có - không), mỗi ô trong bảng 2X2 chỉ đơn giản là một số đối tượng đáp ứng tiêu chí hàng và cột.
Trong biểu đồ bạn cung cấp, nó có thể giả định mức cắt là 0,5. Đây là mặc định phổ biến cho phần mềm. Nếu bạn điều chỉnh nó cao hơn (ví dụ như 0,65), nó có thể bao gồm tất cả các O bên trong dòng nhưng bạn cũng sẽ có một số dương tính giả (X mà nó nghĩ là O) sẽ được mô hình dự đoán sẽ có kết quả quan tâm. (hoặc điều chỉnh điểm cắt thấp hơn và có nhiều âm tính giả hơn).
Tôi hi vọng cái này giúp được.

— Jerry
nguồn