Nếu tôi muốn một mô hình có thể hiểu được, có phương pháp nào khác ngoài Hồi quy tuyến tính không?

16

Tôi đã gặp một số nhà thống kê không bao giờ sử dụng các mô hình khác ngoài Hồi quy tuyến tính để dự đoán vì họ tin rằng "các mô hình ML" như rừng ngẫu nhiên hoặc tăng cường độ dốc rất khó giải thích hoặc "không thể giải thích".

Trong Hồi quy tuyến tính, cho rằng tập hợp các giả định đã được xác minh (tính chuẩn của lỗi, tính đồng nhất, không đa cộng tuyến), các bài kiểm tra t cung cấp một cách để kiểm tra tầm quan trọng của các biến, các bài kiểm tra mà kiến thức của tôi không có sẵn trong rừng ngẫu nhiên hoặc mô hình tăng cường độ dốc.

Do đó, câu hỏi của tôi là nếu tôi muốn mô hình hóa một biến phụ thuộc với một tập hợp các biến độc lập, vì mục đích dễ hiểu, tôi có nên luôn luôn sử dụng hồi quy tuyến tính không?

— Victor
nguồn

6

Phụ thuộc vào những gì bạn vẫn xem xét tuyến tính. Các mô hình tuyến tính tổng quát và mô hình phụ gia tổng quát vẫn hoạt động trên cơ sở thành phần tuyến tính được ước tính, nhưng có thể mô hình hóa nhiều mối quan hệ khác nhau.

— Frans Rodenburg

2

Cũng phụ thuộc vào những gì bạn có nghĩa là có thể giải thích. Nhiều cách khác nhau để "nhìn vào hộp đen" đã được đề xuất cho các mô hình học máy, nhưng có thể hoặc không phù hợp với mục tiêu của bạn.

— user20160

5

Tôi hoàn toàn không thấy những thống kê suy luận và các bài kiểm tra có liên quan đến khả năng diễn giải, mà IMO chủ yếu là về ước tính hệ số.

— S. Kolassa - Tái lập Monica

3

@StephanKolassa "Khả năng tương tác" cũng có thể liên quan đến hình thức chức năng . Ví dụ, các ước tính hệ số được tạo bởi đường cong đa thức phân số thuật toán phù hợp trong các mô hình hồi quy (cho dù hồi quy tuyến tính, GLM, hoặc một cái gì khác), trong khi có được sự phù hợp tốt , gần như chắc chắn là trực quan: bạn có thể gọi cho mảng hình dạng được tạo ra theo các mô hình có dạng , và do đó diễn giải mối quan hệ giữa và ngụ ý theo ước tính hệ số của bạn?

y_{i} = β_{0} + β_{1} x_{i}^{- 3 / 5} + β_{2} x_{i}^{1 / 3} + β_{3} x_{i}^{3} + ε_{i}

$y_{i}=\beta_{0} + \beta_{1}x_{i}^{-3/5} + \beta_{2}x_{i}^{1/3} + \beta_{3}x_{i}^{3} + \varepsilon_{i}$

y

$y$

x

$x$

— Alexis

2

@UserX Những gì bạn mô tả vẫn là hồi quy tuyến tính (nghĩa là tuyến tính trong các tham số). Tương phản với : trước đây là mô hình hồi quy tuyến tính, trong khi sau này không thể ước tính được bằng hồi quy tuyến tính.

y_{i} = β_{0} + β_{1} x_{i} + β_{2} x_{i}^{2} + ε_{i}

$y_{i} = \beta_{0} + \beta_{1}x_{i} + \beta_{2}x_{i}^{2} + \varepsilon_{i}$

y_{i} = β_{0} + β_{1} x_{i} + x_{i}^{β_{2}} + ε_{i}

$y_{i} = \beta_{0} + \beta_{1}x_{i} + x_{i}^{\beta_{2}} +\varepsilon_{i}$

— Alexis

28

Thật khó cho tôi để tin rằng bạn đã nghe người ta nói điều này, bởi vì nó sẽ là một điều ngu ngốc để nói. Nó giống như nói rằng bạn chỉ sử dụng búa (bao gồm cả lỗ khoan và để thay đổi bóng đèn), bởi vì nó đơn giản để sử dụng và cho kết quả có thể dự đoán được.

Thứ hai, hồi quy tuyến tính không phải lúc nào cũng "có thể giải thích". Nếu bạn có mô hình hồi quy tuyến tính với nhiều thuật ngữ đa thức, hoặc chỉ có rất nhiều tính năng, sẽ rất khó để giải thích. Ví dụ: giả sử bạn đã sử dụng các giá trị thô của từng trong số 784 pixel từ MNIST † làm các tính năng. Bạn có biết rằng pixel 237 có trọng lượng bằng -2311,67 cho bạn biết bất cứ điều gì về mô hình không? Đối với dữ liệu hình ảnh, nhìn vào các bản đồ kích hoạt của mạng nơ ron tích chập sẽ dễ hiểu hơn nhiều.

Cuối cùng, có những mô hình có thể giải thích như nhau, ví dụ hồi quy logistic, cây quyết định, thuật toán Bayes ngây thơ, và nhiều hơn nữa.

- Như được chú ý bởi Ingolifs trong bình luận, và như được thảo luận trong chủ đề này , MNIST có thể không phải là ví dụ tốt nhất, vì đây là một bộ dữ liệu rất đơn giản. Đối với hầu hết các bộ dữ liệu hình ảnh thực tế, hồi quy logistic sẽ không hoạt động và nhìn vào các trọng số sẽ không đưa ra bất kỳ câu trả lời đơn giản nào. Nếu bạn nhìn gần hơn về các trọng số trong luồng được liên kết, thì cách giải thích của chúng cũng không đơn giản, ví dụ các trọng số để dự đoán "5" hoặc "9" không hiển thị bất kỳ mẫu rõ ràng nào (xem hình ảnh bên dưới, được sao chép từ luồng khác).

— Tim
nguồn

2

Câu trả lời này tôi nghĩ là một công việc tốt cho thấy hồi quy logistic rõ ràng trên MNIST có thể được giải thích như thế nào.

— Ingolifs

1

@Ingolifs đồng ý, nhưng đây là bản đồ kích hoạt, bạn có thể làm tương tự cho mạng thần kinh.

— Tim

Bất kể nó được gọi là gì, nó đưa ra một lời giải thích rõ ràng về hồi quy logistic đang sử dụng để đưa ra quyết định theo cách mà bạn không thực sự có được đối với các bản đồ kích hoạt của các mạng thần kinh.

— Ingolifs

1

@Ingolifs MNIST có thể không phải là ví dụ tốt nhất vì nó rất đơn giản, nhưng vấn đề là bạn sử dụng cùng một phương pháp cho mạng thần kinh.

— Tim

11

Cây quyết định sẽ là một lựa chọn khác. Hoặc Lasso Regression để tạo ra một hệ thống thưa thớt.

Kiểm tra con số này từ Giới thiệu về cuốn sách Học thống kê . http://www.sr-sv.com/wp-content/uploads/2015/09/STAT01.png

— Haitao Du
nguồn

Cuốn sách "ISL" là gì?

— donlan

1

@donlan amazon.com/ Nhật cảm ơn vì đã trả lời gợi ý.

— Haitao Du

không vấn đề gì! sẽ tìm kiếm nó sau khi đọc chủ đề này

— donlan

6

Không, đó là hạn chế không cần thiết. Có một loạt các mô hình có thể hiểu được bao gồm các mô hình tuyến tính không chỉ (như Frans Rodenburg nói), mô hình tuyến tính tổng quát và mô hình phụ gia tổng quát, mà cả các phương pháp học máy được sử dụng để hồi quy. Tôi bao gồm các khu rừng ngẫu nhiên, máy tăng cường độ dốc, mạng lưới thần kinh, v.v. Chỉ vì bạn không nhận được hệ số từ các mô hình học máy tương tự như mô hình hồi quy tuyến tính không có nghĩa là hoạt động của chúng không thể hiểu được. Nó chỉ mất một chút công việc.

Để hiểu lý do tại sao, tôi khuyên bạn nên đọc câu hỏi này: Thu thập kiến thức từ một khu rừng ngẫu nhiên . Những gì nó thể hiện là cách bạn có thể tiếp cận để làm cho hầu hết mọi mô hình học máy có thể hiểu được.

— mkt - Tái lập Monica
nguồn

6

Tôi sẽ không đồng ý với câu trả lời của Tim và mkt - Các mô hình ML không nhất thiết không thể giải thích được. Tôi sẽ hướng dẫn bạn đến Gói Mô tả Học tập Mô tả, gói DALEX R, được dành để làm cho các mô hình ML có thể hiểu được.

— babelproofreader
nguồn

1

Gói DALEX thực sự rất thú vị, bạn có biết có thứ gì tương tự tồn tại cho Python không?

— Victor

@Victor Tôi không biết về phiên bản Python của DALEX, nhưng bạn có thể thử gọi R từ Python bằng rpy2.readthedocs.io/en/version_2.8.x/int sinhtion.html chẳng hạn.

— babelproofreader