Thứ hạng quan trọng thay đổi hữu ích cho là gì?

Tôi đã trở thành một phần của một kẻ hư vô khi nói đến thứ hạng quan trọng khác nhau (trong bối cảnh của các mô hình đa biến các loại).

Thông thường trong quá trình làm việc, tôi được yêu cầu hỗ trợ một nhóm khác tạo ra một thứ hạng quan trọng khác nhau hoặc tạo ra một thứ hạng quan trọng khác nhau từ công việc của tôi. Đáp lại những yêu cầu này, tôi hỏi những câu hỏi sau

Bạn muốn thứ hạng quan trọng thay đổi này để làm gì? Bạn hy vọng học được gì từ nó? Loại quyết định nào bạn muốn thực hiện bằng cách sử dụng nó?

Các câu trả lời tôi nhận được hầu như luôn thuộc một trong hai loại

• Tôi muốn biết tầm quan trọng của các biến khác nhau trong mô hình của tôi trong việc dự đoán đáp ứng.
• Tôi muốn sử dụng nó để lựa chọn tính năng, bằng cách loại bỏ các biến quan trọng thấp.

Phản hồi đầu tiên là tautological (tôi muốn một thứ hạng quan trọng thay đổi bởi vì tôi muốn một thứ hạng quan trọng thay đổi). Tôi phải cho rằng những thứ hạng này đáp ứng nhu cầu tâm lý khi tiêu thụ đầu ra của một mô hình đa biến. Tôi có một thời gian khó hiểu điều này, vì xếp hạng các biến "tầm quan trọng" riêng lẻ dường như hoàn toàn từ chối bản chất đa chiều của mô hình trong câu hỏi.

Phản hồi thứ hai về cơ bản giảm xuống một phiên bản không chính thức của lựa chọn ngược , các tội thống kê được ghi lại rõ ràng trong các phần khác của CrossValidated.

Tôi cũng đấu tranh với bản chất không xác định của bảng xếp hạng quan trọng. Dường như có rất ít sự đồng ý về khái niệm cơ bản mà bảng xếp hạng nên được đo lường, mang lại cho họ một hương vị rất đặc biệt. Có nhiều cách để gán điểm quan trọng hoặc xếp hạng, và chúng thường bị nhược điểm và cảnh báo:

• Chúng có thể phụ thuộc nhiều vào thuật toán, như trong bảng xếp hạng quan trọng trong các khu rừng và gbms ngẫu nhiên.
• Họ có thể có phương sai rất cao, thay đổi mạnh mẽ với nhiễu loạn dữ liệu cơ bản.
• Họ có thể chịu đựng rất nhiều từ mối tương quan trong các yếu tố dự đoán đầu vào.

Vì vậy, với tất cả những gì đã nói, câu hỏi của tôi là, một số cách sử dụng có giá trị thống kê của bảng xếp hạng tầm quan trọng thay đổi, hoặc, một lý lẽ thuyết phục (cho một nhà thống kê hoặc giáo dân) cho sự vô ích của mong muốn đó là gì? Tôi quan tâm đến cả lập luận lý thuyết chung và nghiên cứu trường hợp, cái nào sẽ hiệu quả hơn trong việc đưa ra quan điểm.

Tôi đã lập luận rằng tầm quan trọng của biến là một khái niệm trơn , vì câu hỏi này đặt ra. Loại phản hồi đầu tiên mà bạn nhận được cho câu hỏi của mình và hy vọng không thực tế của những người sẽ giải thích kết quả quan trọng khác nhau về mặt nhân quả, như @DexGroves lưu ý, cần ít chi tiết.

Tuy nhiên, để công bằng cho những người sẽ sử dụng lựa chọn lạc hậu, tuy nhiên, ngay cả Frank Harrell cũng cho phép nó là một phần của chiến lược mô hình hóa. Từ trang 97 của Chiến lược mô hình hồi quy của mình , ấn bản thứ 2 (một tuyên bố tương tự nằm ở trang 131 của ghi chú khóa học liên quan ):

13. Không giới hạn lựa chọn biến bước lùi xuống nếu phân tích quan trọng hơn độ chính xác.

Tuy nhiên, việc sử dụng tiềm năng hạn chế này của lựa chọn lạc hậu là bước 13, bước cuối cùng trước mô hình cuối cùng (bước 14). Nó đến tốt sau những bước đầu tiên quan trọng:

1. Lắp ráp càng nhiều dữ liệu thích hợp chính xác càng tốt, với các bản phân phối rộng cho các giá trị dự đoán ...
2. Xây dựng các giả thuyết tốt dẫn đến đặc điểm kỹ thuật của các dự đoán ứng viên có liên quan và các tương tác có thể ...

Theo kinh nghiệm của tôi, mọi người thường muốn bỏ qua bước 2 và để một số quy trình tự động thay thế ứng dụng thông minh về kiến ​​thức vấn đề. Điều này có thể dẫn đến một số sự nhấn mạnh được đặt vào tầm quan trọng khác nhau.

Mô hình đầy đủ của bước 14 của Mitchell được theo sau bởi 5 bước xác nhận và điều chỉnh tiếp theo, với bước cuối cùng:

20. Phát triển đơn giản hóa cho mô hình đầy đủ bằng cách xấp xỉ nó với bất kỳ mức độ chính xác mong muốn nào.

Như các câu trả lời khác đã lưu ý, có những vấn đề về khả năng hành động, chi phí và sự đơn giản đi vào ứng dụng thực tế của kết quả mô hình hóa. Ví dụ, nếu tôi phát triển một dấu ấn sinh học ung thư mới giúp cải thiện tiên lượng nhưng chi phí 100.000 đô la cho mỗi xét nghiệm, có thể khó thuyết phục các công ty bảo hiểm hoặc chính phủ trả tiền cho xét nghiệm trừ khi nó hữu ích một cách ngoạn mục. Vì vậy, không phải vô lý khi ai đó muốn tập trung vào các biến "quan trọng nhất" hoặc đơn giản hóa một mô hình chính xác thành một mô hình ít chính xác hơn nhưng dễ thực hiện hơn hoặc ít tốn kém hơn.

Nhưng lựa chọn biến và đơn giản hóa mô hình này nên dành cho một mục đích cụ thể và tôi nghĩ đó là nơi khó khăn phát sinh. Vấn đề tương tự như việc đánh giá các sơ đồ phân loại chỉ dựa trên phần trăm các trường hợp được phân loại chính xác. Giống như các lỗi phân loại khác nhau có thể có chi phí khác nhau, các sơ đồ đơn giản hóa mô hình khác nhau có thể có các chi phí khác nhau cân bằng với lợi ích hy vọng của chúng.

Vì vậy, tôi nghĩ rằng vấn đề cần tập trung làm nhà phân tích là khả năng ước tính và minh họa các chi phí và lợi ích này một cách đáng tin cậy với các quy trình mô hình thống kê, thay vì lo lắng quá nhiều về một khái niệm trừu tượng về tính hợp lệ thống kê mỗi se. Ví dụ, các trang 157-8 của các ghi chú lớp của Mitchell được liên kết ở trên có một ví dụ về việc sử dụng bootstrap để hiển thị các giá trị mơ hồ của các dự đoán xếp hạng trong các ô vuông nhỏ nhất; kết quả tương tự có thể được tìm thấy cho các bộ biến được chọn bởi LASSO.

Nếu loại biến thiên trong lựa chọn biến đó không cản trở một ứng dụng thực tế cụ thể của mô hình đó là OK. Công việc là ước tính mức độ và loại rắc rối mà việc đơn giản hóa sẽ dẫn đến.

Đây hoàn toàn là giai thoại, nhưng tôi thấy tầm quan trọng của biến có ích trong việc xác định sai lầm hoặc điểm yếu trong GBM.

Tầm quan trọng thay đổi cung cấp cho bạn một loại tổng quan mặt cắt ngang lớn của mô hình mà khó có thể có được bằng cách khác. Các biến cao hơn trong danh sách đang thấy nhiều hoạt động hơn (liệu chúng có quan trọng hơn hay không là một câu hỏi khác). Thường thì một người dự đoán hành xử kém (ví dụ như một cái gì đó hướng tới tương lai, hoặc một yếu tố có tính chính xác cao) sẽ bắn lên đầu.

Nếu có sự bất đồng lớn giữa tầm quan trọng của biến trực giác và tầm quan trọng của biến GBM, thường sẽ có một số kiến ​​thức có giá trị hoặc có thể tìm thấy một sai lầm.

Tôi sẽ thêm một câu trả lời thứ ba cho "tại sao bạn hỏi tôi về điều này?" câu hỏi, đó là "bởi vì tôi muốn hiểu những gì nguyên nhân dẫn đến phản ứng của tôi". Eep.

Thứ hạng quan trọng thay đổi có vai trò nhất định trong thế giới kinh doanh ứng dụng bất cứ khi nào có nhu cầu ưu tiên số lượng lớn đầu vào tiềm năng cho một quy trình, bất kỳ quy trình nào. Thông tin này cung cấp hướng về chiến lược tập trung để tấn công một vấn đề, làm việc từ hầu hết đến quan trọng nhất, ví dụ, giảm chi phí xử lý, cho rằng các biến có thể sử dụng được và không cố định hoặc các yếu tố cấu trúc miễn dịch với thao tác. Vào cuối ngày, điều này sẽ dẫn đến một thử nghiệm A / B của một số loại.

Tuy nhiên, theo quan điểm của bạn, Matt và như với bất kỳ bảng xếp hạng thứ tự nào, các sắc thái nhỏ hoặc sự khác biệt giữa các biến có thể mơ hồ hoặc bị che khuất, làm tăng tính hữu dụng của chúng.

Tôi hoàn toàn đồng ý với bạn trong quan điểm lý thuyết. Nhưng theo quan điểm thực tế, tầm quan trọng của biến là rất hữu ích.

Hãy lấy một ví dụ trong đó một công ty bảo hiểm muốn giảm số lượng câu hỏi trong bảng câu hỏi định lượng rủi ro của khách hàng của họ. Bảng câu hỏi càng phức tạp thì khách hàng càng ít mua sản phẩm của họ. Vì lý do đó, họ muốn giảm các câu hỏi ít hữu ích hơn khi duy trì mức độ định lượng rủi ro. Giải pháp thường là sử dụng tầm quan trọng khác nhau để xác định câu hỏi nào sẽ bị xóa khỏi bảng câu hỏi (và có "ít nhiều" cùng một dự đoán về hồ sơ rủi ro của khách hàng tiềm năng).