Nguyên tắc cách thu gọn các biến phân loại với nhiều cấp độ?

Những kỹ thuật nào có sẵn để thu gọn (hoặc gộp) nhiều loại thành một số ít, với mục đích sử dụng chúng làm đầu vào (dự đoán) trong mô hình thống kê?

Hãy xem xét một biến như chuyên ngành sinh viên đại học (ngành học được chọn bởi một sinh viên đại học). Nó không có thứ tự và phân loại, nhưng nó có khả năng có thể có hàng tá cấp độ khác nhau. Giả sử tôi muốn sử dụng chính như một công cụ dự đoán trong mô hình hồi quy.

Sử dụng các cấp độ này như là để mô hình hóa dẫn đến tất cả các loại vấn đề bởi vì có rất nhiều. Rất nhiều độ chính xác thống kê sẽ bị loại bỏ để sử dụng chúng, và kết quả rất khó để giải thích. Chúng tôi hiếm khi quan tâm đến các chuyên ngành cụ thể - chúng tôi có nhiều khả năng quan tâm đến các danh mục rộng (nhóm phụ) của các chuyên ngành. Nhưng không phải lúc nào cũng rõ ràng làm thế nào để phân chia các cấp thành các loại cấp cao hơn như vậy, hoặc thậm chí có bao nhiêu loại cấp cao hơn để sử dụng.

Đối với dữ liệu điển hình, tôi sẽ rất vui khi sử dụng phân tích nhân tố, nhân tố ma trận hoặc kỹ thuật mô hình tiềm ẩn riêng biệt. Nhưng chuyên ngành là các thể loại loại trừ lẫn nhau, vì vậy tôi ngần ngại khai thác hiệp phương sai của chúng cho bất cứ điều gì.

Hơn nữa, tôi không quan tâm đến các danh mục chính của họ. Tôi quan tâm đến việc sản xuất các danh mục cấp cao hơn phù hợp với kết quả hồi quy của tôi . Trong trường hợp kết quả nhị phân, điều đó gợi ý cho tôi một cái gì đó như phân tích phân biệt đối xử tuyến tính (LDA) để tạo ra các danh mục cấp cao hơn nhằm tối đa hóa hiệu suất phân biệt đối xử. Nhưng LDA là một kỹ thuật hạn chế và cảm giác như việc nạo vét dữ liệu bẩn đối với tôi. Hơn nữa, bất kỳ giải pháp liên tục sẽ khó để giải thích.

Trong khi đó, một cái gì đó dựa trên hiệp phương sai, như phân tích tương ứng nhiều (MCA), có vẻ như tôi nghi ngờ trong trường hợp này vì sự phụ thuộc vốn có giữa các biến giả loại trừ lẫn nhau - chúng phù hợp hơn để nghiên cứu nhiều biến phân loại, thay vì nhiều loại cùng biến.

chỉnh sửa : để rõ ràng, đây là về các danh mục thu gọn (không chọn chúng) và các danh mục là các yếu tố dự đoán hoặc các biến độc lập. Nhìn nhận lại, vấn đề này có vẻ như là một thời điểm thích hợp để "bình thường hóa tất cả và để Chúa loại bỏ chúng". Vui mừng khi thấy câu hỏi này là thú vị cho rất nhiều người!

Nếu tôi hiểu chính xác, bạn tưởng tượng một mô hình tuyến tính trong đó một trong những yếu tố dự đoán là phân loại (ví dụ: chuyên ngành đại học); và bạn mong đợi rằng đối với một số nhóm con ở cấp độ của nó (nhóm con của danh mục), các hệ số có thể giống hệt nhau. Vì vậy, có lẽ các hệ số hồi quy cho Toán và Vật lý là như nhau, nhưng khác với các hệ số Hóa học và Sinh học.

Trong trường hợp đơn giản nhất, bạn sẽ có mô hình tuyến tính "một chiều ANOVA" với một công cụ dự báo phân loại duy nhất: trong đó mã hóa mức của biến phân loại ( thể loại). Nhưng bạn có thể thích một giải pháp thu gọn một số cấp (danh mục) lại với nhau, ví dụ:

Điều này cho thấy rằng người ta có thể cố gắng sử dụng một hình phạt chính quy sẽ xử phạt các giải pháp với các bảng chữ cái khác nhau. Một điều khoản phạt xuất hiện ngay lập tức làĐiều này giống với Lasso và nên thực thi sự khác biệt của , đó chính xác là những gì bạn muốn: bạn muốn nhiều trong số chúng bằng không. Tham số chính quy nên được chọn với xác nhận chéo.α i - α j

Tôi chưa bao giờ xử lý các mô hình như thế và ở trên là điều đầu tiên tôi nghĩ đến. Sau đó, tôi quyết định xem liệu có một cái gì đó như thế được thực hiện. Tôi đã thực hiện một số tìm kiếm trên google và sớm nhận ra rằng điều này được gọi là hợp nhất các danh mục; tìm kiếm lasso fusion categoricalsẽ cung cấp cho bạn rất nhiều tài liệu tham khảo để đọc. Dưới đây là một vài cái mà tôi đã xem xét ngắn gọn:

• Gerhard Tutz, Hồi quy dữ liệu phân loại, xem trang 175-175 trong Google Sách . Tutz đề cập đến bốn giấy tờ sau đây:

• Land and Friedman, 1997, Biến đổi nhiệt hạch: một phương pháp hồi quy tín hiệu thích ứng mới

• Bondell và Reich, 2009, Lựa chọn yếu tố đồng thời và mức độ sụp đổ trong ANOVA

• Gertheiss và Tutz, 2010, Mô hình hóa các biến giải thích chiến lược thưa thớt

• Tibshirani et al. 2005, Độ thưa và độ mịn thông qua lasso hợp nhất có phần phù hợp ngay cả khi không hoàn toàn giống nhau (đó là về các biến số thứ tự)

Gertheiss và Tutz 2010, được xuất bản trong Biên niên sử Thống kê Ứng dụng, trông giống như một bài báo gần đây và rất dễ đọc có chứa các tài liệu tham khảo khác. Đây là tóm tắt của nó:

Các phương pháp thu hẹp trong phân tích hồi quy thường được thiết kế cho các yếu tố dự báo số liệu. Tuy nhiên, trong bài viết này, các phương pháp thu nhỏ cho các yếu tố dự đoán phân loại được đề xuất. Là một ứng dụng, chúng tôi xem xét dữ liệu từ tiêu chuẩn thuê Munich, ví dụ, trong đó, các quận nội thành được coi là một công cụ dự báo phân loại. Nếu các biến độc lập là danh mục, một số sửa đổi đối với các thủ tục thu hẹp thông thường là cần thiết. Hai phương pháp dựa trên để lựa chọn nhân tố và phân nhóm các danh mục được trình bày và nghiên cứu. Cách tiếp cận đầu tiên được thiết kế cho các mức quy mô danh nghĩa, phương pháp thứ hai cho các yếu tố dự đoán thứ tự. Bên cạnh việc áp dụng chúng cho tiêu chuẩn thuê Munich, các phương pháp được minh họa và so sánh trong các nghiên cứu mô phỏng.$L_1$

Tôi thích các đường dẫn giải pháp giống như Lasso của họ cho thấy mức độ của hai biến phân loại được hợp nhất với nhau khi cường độ chính quy tăng:

Tôi đã vật lộn với điều này trong một dự án tôi đang thực hiện và tại thời điểm này tôi đã quyết định thực sự không có cách nào tốt để hợp nhất các danh mục và vì vậy tôi đang thử một mô hình phân cấp / hiệu ứng hỗn hợp trong đó tương đương của bạn chính là một hiệu ứng ngẫu nhiên.

Ngoài ra, trong các tình huống như thế này dường như thực sự có hai quyết định hợp nhất để đưa ra: 1) làm thế nào để hợp nhất các danh mục bạn có khi phù hợp với mô hình và 2) danh mục hợp nhất trở thành "khác" trong đó bạn sẽ mặc định bao gồm bất kỳ mục mới nào chuyên ngành mà ai đó mơ ước sau khi bạn phù hợp với mô hình của bạn. (Một hiệu ứng ngẫu nhiên có thể tự động xử lý trường hợp thứ hai này.)

Khi cầu chì có bất kỳ phán xét nào liên quan (trái ngược với các quy trình hoàn toàn tự động), tôi nghi ngờ về loại "khác" thường là một túi chứa các loại có ít thứ trong đó hơn là bất kỳ loại nhóm nguyên tắc nào.

Một hiệu ứng ngẫu nhiên xử lý rất nhiều cấp độ, các nhóm động ("lấy sức mạnh từ") các mức khác nhau, có thể dự đoán các mức chưa từng thấy trước đây, v.v. Một nhược điểm có thể là sự phân bố các cấp hầu như luôn luôn được coi là bình thường.

Một cách để xử lý tình huống này là mã hóa lại biến phân loại thành một biến liên tục, sử dụng cái được gọi là "mã hóa đích" (còn gọi là "mã hóa tác động") [1]. Đặt là biến đầu vào với các mức phân loại và đặt là biến đầu ra / đích / phản hồi. Thay thế bằng , trong đó$Z$${z^1, ..., z^K }$$Y$$Z$$\operatorname{Impact}\left(Z\right)$

cho một có giá trị liên tục . Đối với có giá trị nhị phân , sử dụng thay vì chỉ .$Y$$Y$$\operatorname{logit} \circ \operatorname{E}$$\operatorname{E}$

Có một triển khai Python trong thư viện category_encoders [2].

Một biến thể gọi là "mã hóa tác động" đã được triển khai trong gói R Vtreat [3] [4]. Gói (và mã hóa tác động) được mô tả trong một bài viết của các tác giả từ năm 2016 [5] và trong một số bài đăng trên blog [6]. Lưu ý rằng việc triển khai R hiện tại không xử lý các phản hồi đa phương thức (phân loại với hơn 2 loại) hoặc đa biến (giá trị véc tơ).

1. Daniele Micci-Barreca (2001). Một lược đồ tiền xử lý cho các thuộc tính phân loại có độ chính xác cao trong các vấn đề phân loại và dự đoán. Bản tin Khám phá của ACM SIGKDD , Tập 3, Số 1, Tháng 7, 2001, Trang 27-32. https://doi.org/10.1145/507533.507538
2. Bộ mã hóa danh mục. http://contrib.scikit-learn.org/coolical-encoding/index.html
3. John Mount và Nina Zumel (2017). vtreat: Bộ xử lý / điều hòa 'data.frame' Sound thống kê. Gói R phiên bản 0.5.32. https://CRAN.R-project.org/package=vtreat
4. Win-Vector (2017). vtreat. Kho lưu trữ GitHub tại https://github.com/WinVector/vtreat
5. Zumel, Nina và Mount, John (2016). vtreat: một bộ xử lý data.frame cho mô hình dự đoán. 1611.09477v3, bản in điện tử ArXiv . Có sẵn tại https://arxiv.org/abs/1611.09477v3 .
6. http://www.win-vector.com/blog/tag/vtreat/

Nếu bạn có một biến độc lập phụ trợ hợp lý để sử dụng làm mỏ neo cho công cụ dự đoán phân loại, hãy xem xét việc sử dụng thuật toán chấm điểm tối ưu của Fisher, có liên quan đến phân tích phân biệt tuyến tính của anh ấy. Giả sử rằng bạn muốn ánh xạ chuyên ngành đại học thành một số liệu liên tục duy nhất và giả sử rằng một mỏ neo thích hợp là điểm kiểm tra định lượng SAT trước khi nhập học. Tính điểm định lượng trung bình cho từng chuyên ngành và thay thế điểm chính bằng giá trị trung bình đó. Bạn có thể dễ dàng mở rộng điều này đến nhiều neo, tạo ra nhiều hơn một mức độ tự do để tóm tắt chính.

Lưu ý rằng không giống như một số đề xuất trước đây, chấm điểm tối ưu đại diện cho phương pháp học tập không giám sát, do đó mức độ tự do (số lượng tham số ước tính so với Y) rất ít và được xác định rõ, dẫn đến suy luận thống kê chính xác (nếu thường xuyên, sai số chuẩn chính xác, độ tin cậy (tương thích) khoảng và giá trị p).

Tôi rất thích đề xuất xử phạt của https://stats.stackexchange.com/users/28666/amoeba @amoeba.

Bài viết " Một sơ đồ tiền xử lý cho các thuộc tính phân loại có độ chính xác cao trong các vấn đề phân loại và dự đoán " tận dụng cấu trúc phân cấp trong các thuộc tính thể loại trong sơ đồ 'Bay theo kinh nghiệm' lồng nhau ở mọi nhóm / cấp để xác định biến phân loại thành xác suất của lớp sau. có thể được sử dụng trực tiếp hoặc làm đầu vào cho các mô hình khác.

Có nhiều câu hỏi ở đây, và một số câu hỏi được hỏi & trả lời trước đó. Nếu vấn đề là tính toán mất nhiều thời gian: Có nhiều phương pháp để giải quyết vấn đề đó, hãy xem hồi quy quy mô lớn với ma trận tính năng thưa thớt và bài báo của Maechler và Bates .

Nhưng nó có thể là vấn đề với mô hình hóa, tôi không chắc chắn rằng các phương pháp thông thường để xử lý các biến dự báo phân loại thực sự đưa ra hướng dẫn đầy đủ khi có các biến phân loại với rất nhiều cấp độ, hãy xem trang web này cho thẻ [many-categories]. Chắc chắn có nhiều cách người ta có thể thử, một cách có thể (nếu đây là một ý tưởng tốt cho ví dụ của bạn tôi không thể biết, bạn đã không cho chúng tôi biết ứng dụng cụ thể của bạn) một loại biến phân loại phân cấp, nghĩa là được truyền cảm hứng bởi hệ thống được sử dụng trong phân loại sinh học, xem https://en.wikipedia.org/wiki/Taxonomy_(biology). Ở đó, một cá thể (thực vật hoặc động vật) được phân loại đầu tiên thành Miền, sau đó là Vương quốc, Phylum, Lớp, Trật tự, Gia đình, Chi và cuối cùng là Loài. Vì vậy, đối với mỗi cấp độ trong phân loại, bạn có thể tạo một biến nhân tố. Nếu cấp độ của bạn là các sản phẩm được bán trong siêu thị, bạn có thể tạo một phân loại phân cấp bắt đầu bằng [thực phẩm, đồ dùng nhà bếp, khác], thì thực phẩm có thể được phân loại là [thịt, cá, rau, ngũ cốc, ...] và Sớm. Chỉ là một khả năng, đưa ra một hệ thống phân cấp trước, không liên quan cụ thể đến kết quả.

Nhưng bạn nói:

Tôi quan tâm đến việc sản xuất các danh mục cấp cao hơn phù hợp với kết quả hồi quy của tôi.

Sau đó, bạn có thể thử Lasso hợp nhất , xem các câu trả lời khác trong chuỗi này, có thể được coi là một cách thu gọn các cấp thành các nhóm lớn hơn, hoàn toàn dựa trên dữ liệu, không phải là một tổ chức cấp trước theo đề xuất của tôi về phân cấp tổ chức các cấp.