Sự khác biệt giữa hồi quy logistic và mạng lưới thần kinh là gì?

Làm thế nào để chúng tôi giải thích sự khác biệt giữa hồi quy logistic và mạng lưới thần kinh với một đối tượng không có nền tảng về thống kê?

Tôi cho rằng bạn đang nghĩ về những gì đã từng, và có lẽ vẫn được gọi là "tri giác đa lớp" trong câu hỏi của bạn về mạng lưới thần kinh. Nếu vậy thì tôi sẽ giải thích toàn bộ sự linh hoạt về hình thức của ranh giới quyết định như là một hàm của các biến giải thích. Đặc biệt, đối với đối tượng này, tôi sẽ không đề cập đến các chức năng liên kết / tỷ lệ cược đăng nhập, v.v. Chỉ cần lưu ý rằng xác suất của một sự kiện đang được dự đoán dựa trên một số quan sát.

Đây là một chuỗi có thể:

• Hãy chắc chắn rằng họ biết xác suất dự đoán là gì, nói theo khái niệm. Hiển thị nó như là một hàm của một biến trong ngữ cảnh của một số dữ liệu quen thuộc. Giải thích bối cảnh quyết định sẽ được chia sẻ bằng hồi quy logistic và mạng lưới thần kinh.
• Bắt đầu với hồi quy logistic. Nói rằng đó là trường hợp tuyến tính nhưng cho thấy tính tuyến tính của ranh giới quyết định kết quả bằng cách sử dụng biểu đồ nhiệt hoặc đường viền của xác suất đầu ra với hai biến giải thích.
• Lưu ý rằng hai lớp có thể không được phân tách rõ ràng bởi ranh giới mà chúng nhìn thấy và thúc đẩy một mô hình linh hoạt hơn để tạo ranh giới cong hơn. Nếu cần thiết cho thấy một số dữ liệu sẽ được phân biệt theo cách này. (Đây là lý do tại sao bạn bắt đầu với 2 biến)
• Lưu ý rằng bạn có thể bắt đầu làm phức tạp mô hình tuyến tính ban đầu bằng các thuật ngữ bổ sung, ví dụ như hình vuông hoặc các phép biến đổi khác và có thể hiển thị các ranh giới mà các mô hình này tạo ra.
• Nhưng sau đó loại bỏ chúng, quan sát rằng bạn không biết trước dạng hàm nên là gì và bạn muốn tìm hiểu nó từ dữ liệu. Ngay khi họ nhiệt tình về điều này, hãy lưu ý sự bất khả thi của điều này trong tính tổng quát hoàn toàn và đề nghị rằng bạn rất vui khi cho rằng nó ít nhất phải là 'trơn tru' thay vì 'nhảm nhí', nhưng mặt khác được xác định bởi dữ liệu. (Khẳng định rằng có lẽ họ đã nghĩ đến những ranh giới trơn tru, giống như cách họ đã nói văn xuôi cả đời).
• Hiển thị đầu ra của mô hình phụ gia tổng quát trong đó xác suất đầu ra là hàm chung của cặp biến ban đầu thay vì kết hợp phụ gia thực sự - đây chỉ nhằm mục đích trình diễn. Điều quan trọng, gọi nó là mượt mà hơn bởi vì đó là tốt đẹp và chung chung và mô tả mọi thứ bằng trực giác. Chứng minh ranh giới quyết định phi tuyến tính trong hình như trước đây.
• Lưu ý rằng điều này (hiện tại ẩn danh) mượt mà hơn có một tham số độ mịn kiểm soát mức độ thực sự của nó, tham khảo điều này giống như một niềm tin trước đó về độ mượt của hàm biến các biến giải thích thành xác suất dự đoán. Có thể cho thấy hậu quả của các cài đặt độ mịn khác nhau trên ranh giới quyết định.
• Bây giờ giới thiệu mạng lưới thần kinh như một sơ đồ. Chỉ ra rằng lớp thứ hai chỉ là mô hình hồi quy logistic, nhưng cũng chỉ ra sự biến đổi phi tuyến tính xảy ra trong các đơn vị ẩn. Nhắc nhở khán giả rằng đây chỉ là một chức năng khác từ đầu vào đến đầu ra sẽ không tuyến tính trong ranh giới quyết định của nó.
• Lưu ý rằng nó có rất nhiều tham số và một số trong số chúng cần phải được ràng buộc để đưa ra một ranh giới quyết định trơn tru - giới thiệu lại ý tưởng về một số điều khiển độ mịn như một số (nói theo khái niệm) giữ các tham số gắn liền với nhau Giá trị cực đoan. Cũng lưu ý rằng càng có nhiều đơn vị ẩn, các loại hình chức năng khác nhau càng có thể nhận ra. Để duy trì trực giác, hãy nói về các đơn vị ẩn về tính linh hoạt và ràng buộc tham số về độ mượt mà (mặc dù sự chậm chạp về mặt toán học của đặc tính này)
• Sau đó làm họ ngạc nhiên bằng cách tuyên bố vì bạn vẫn không biết biểu mẫu chức năng nên bạn muốn linh hoạt vô hạn bằng cách thêm vô số đơn vị ẩn. Hãy để những điều không thể thực tế của bồn rửa này trong một chút. Sau đó quan sát rằng giới hạn này có thể được thực hiện trong toán học, và hỏi (về mặt tu từ) một thứ như vậy sẽ như thế nào.
• Trả lời rằng nó sẽ trở nên mượt mà hơn một lần nữa (một quá trình Gaussian, như nó xảy ra; Neal, 1996, nhưng chi tiết này không quan trọng), giống như quá trình họ đã thấy trước đây. Quan sát rằng có một lần nữa một đại lượng kiểm soát độ mịn nhưng không có thông số cụ thể nào khác (được tích hợp ngoài, cho những người quan tâm đến loại điều này).
• Kết luận rằng các mạng thần kinh là đặc biệt, hoàn toàn hạn chế, việc triển khai các bộ làm mịn thông thường, là các phần mở rộng phi tuyến tính, không nhất thiết phải là phụ thuộc của mô hình hồi quy logistic. Sau đó, làm theo cách khác, kết luận rằng hồi quy logistic tương đương với mô hình mạng thần kinh hoặc mượt mà hơn với tham số làm mịn được đặt thành 'thêm cực mịn' tức là tuyến tính.

Ưu điểm của phương pháp này là bạn không cần phải thực sự hiểu bất kỳ chi tiết toán học nào để đưa ra ý tưởng chính xác. Trong thực tế, họ không cần phải hiểu hồi quy logistic hoặc mạng lưới thần kinh để hiểu những điểm tương đồng và khác biệt.

Nhược điểm của phương pháp này là bạn phải tạo ra rất nhiều hình ảnh, và mạnh mẽ chống lại sự cám dỗ để thả xuống đại số để giải thích mọi thứ.

Để tóm tắt đơn giản hơn:

Hồi quy logistic: Hình thức đơn giản nhất của Mạng thần kinh, dẫn đến ranh giới quyết định là một đường thẳng

Mạng nơ-ron: Một siêu bộ bao gồm hồi quy Logistic và các phân loại khác có thể tạo ra các ranh giới quyết định phức tạp hơn.

(lưu ý: Tôi đang đề cập đến hồi quy logistic "đơn giản", không có sự trợ giúp của các hạt nhân tích hợp)

(tham khảo: các khóa học deeplearning.ai của Andrew Ng, "Hồi quy logistic như một mạng thần kinh" và "Phân loại dữ liệu hai chiều với một lớp ẩn")

Tôi sẽ đặt câu hỏi theo nghĩa đen: Một người không có nền tảng về thống kê. Và tôi sẽ không cố gắng cung cấp cho người đó một nền tảng về thống kê. Chẳng hạn, giả sử bạn phải giải thích sự khác biệt với CEO của một công ty hoặc đại loại như thế.

Vì vậy: Hồi quy logistic là một công cụ để mô hình hóa một biến phân loại theo các biến khác. Nó cung cấp cho bạn các cách để tìm hiểu làm thế nào thay đổi trong từng biến "khác" ảnh hưởng đến tỷ lệ cược của các kết quả khác nhau trong biến đầu tiên. Đầu ra khá dễ để giải thích.

Mạng lưới thần kinh là một tập hợp các phương pháp để cho phép một máy tính cố gắng học hỏi từ các ví dụ theo cách mơ hồ giống như cách con người tìm hiểu về mọi thứ. Nó có thể dẫn đến các mô hình là các yếu tố dự đoán tốt, nhưng chúng thường mờ hơn nhiều so với các mô hình từ hồi quy logistic.

Tôi được dạy rằng bạn có thể nghĩ về các mạng thần kinh (với các hàm kích hoạt logistic) như là một trung bình trọng số của các hàm logit, với trọng số ước tính. Bằng cách chọn một số lượng lớn các bản ghi, bạn có thể phù hợp với bất kỳ hình thức chức năng. Có một số trực giác đồ họa trong bài viết trên blog Kinh tế lượng .

Các câu trả lời khác là tuyệt vời. Tôi chỉ đơn giản là thêm một số hình ảnh cho thấy bạn có thể nghĩ về hồi quy logistic và hồi quy logistic đa lớp (hay còn gọi là hồi quy logistic đa cực, hồi quy softmax, phân loại entropy tối đa) như một kiến ​​trúc đặc biệt của mạng lưới thần kinh.

Từ Sebastian Raschka, Đại học bang Michigan, trên KDnuggets :

Một vài minh họa cho hồi quy logistic đa lớp:

Một minh họa tương tự được lấy từ http://www.deeplearningbook.org/ chương 1:

Và một thông tin khác từ hướng dẫn của TensorFlow :

Ví dụ, trong Caffe , bạn sẽ thực hiện hồi quy logistic như sau :

Tôi sẽ sử dụng một ví dụ về một vấn đề phức tạp nhưng cụ thể mà khán giả hiểu được. Sử dụng các nút ẩn mà các diễn giải không được đào tạo, nhưng có ý nghĩa cụ thể.

Nếu bạn sử dụng các vị trí cờ vua (dự đoán liệu màu trắng sẽ giành chiến thắng), bạn có thể để các yếu tố đầu vào là một đại diện của bàn cờ (bỏ qua việc bạn có thể chiếm được lâu đài hay bắt được người đi đường hay thậm chí là di chuyển của nó), nói $64 \times 12$ đầu vào nhị phân cho biết liệu có một phần của mỗi loại trên mỗi hình vuông.

Hồi quy tuyến tính xác định mức độ tốt khi có một hiệp sĩ trắng trên h4. Có thể không rõ ràng rằng nó tốt ở tất cả, nhưng nếu nó ở trên h4 thì nó đã không bị bắt, điều này có thể vượt xa các cân nhắc khác. Hồi quy tuyến tính có thể phục hồi các giá trị thô của các mảnh, và tốt hơn là đặt các mảnh của bạn về phía giữa bảng và về phía bảng của đối thủ. Hồi quy tuyến tính không thể định giá các kết hợp, chẳng hạn như nữ hoàng của bạn trên b2 đột nhiên có giá trị hơn nếu vua đối lập ở trên a1.

Một mạng lưới thần kinh có thể có các nút ẩn cho các khái niệm, chẳng hạn như "lợi thế vật chất", "an toàn của vua đen", "kiểm soát trung tâm", "cả hai tân binh trên tập tin d", "cầm đồ nữ hoàng bị cô lập" hoặc "giám mục di động. " Một số trong số này có thể được ước tính chỉ từ các đầu vào bảng, trong khi những cái khác có thể phải ở trong một lớp ẩn thứ hai hoặc sau đó. Mạng lưới thần kinh có thể sử dụng chúng làm đầu vào cho việc đánh giá cuối cùng của vị trí. Những khái niệm này giúp một chuyên gia đánh giá một vị trí, do đó, một mạng lưới thần kinh sẽ có khả năng đánh giá chính xác hơn so với hồi quy tuyến tính. Tuy nhiên, cần nhiều công việc hơn để tạo mạng lưới thần kinh vì bạn phải chọn cấu trúc của nó và nó có nhiều tham số hơn để đào tạo.