Phương pháp hình phạt cho dữ liệu phân loại: kết hợp các cấp độ trong một yếu tố

Các mô hình được xử lý có thể được sử dụng để ước tính các mô hình trong đó số lượng tham số bằng hoặc thậm chí lớn hơn kích thước mẫu. Tình huống này có thể phát sinh trong các mô hình log-linear của các bảng dữ liệu phân loại hoặc số lượng lớn thưa thớt. Trong các cài đặt này, thường rất mong muốn hoặc hữu ích để thu gọn các bảng bằng cách kết hợp các mức của một yếu tố trong đó các mức đó không thể phân biệt được về cách chúng tương tác với các yếu tố khác. Hai câu hỏi:

Có cách nào để sử dụng các mô hình bị phạt như LASSO hoặc lưới đàn hồi để kiểm tra mức độ sụp đổ của các mức trong mỗi yếu tố không?
Nếu câu trả lời cho câu hỏi đầu tiên là có, có thể và nên, điều này được thiết lập theo cách mà sự sụp đổ của các mức và ước tính các hệ số mô hình xảy ra trong một bước không?

— andrewH
nguồn

Bài viết này, doi.org/10.1177/1471082X16642560 , cung cấp một cái nhìn tổng quan tốt đẹp về những gì đã được thực hiện trong lĩnh vực này trong thập kỷ qua hoặc lâu hơn.

— Jorne biccler

Lưu ý: hình phạt tôi thảo luận dưới đây là phương trình 3,4 trong liên kết của @JorneBiccler. (Thật thú vị khi thấy rằng câu hỏi này đã được xem xét trước đó!)

— user795305

Có thể trùng lặp các biến phân loại tiền xử lý có nhiều giá trị

— kjetil b halvorsen

Làm thế nào chúng ta có thể gọi đây là một bản sao cho một câu hỏi trước nó?

— Michael R. Chernick

Điều đó là có thể. Chúng ta có thể sử dụng một biến thể của Lasso hợp nhất để thực hiện điều này.

Chúng tôi có thể sử dụng công cụ ước tính

\hat{β} = \arg min_{β} \frac{- 1}{n} \sum_{i = 1}^{n} (y_{i} β^{T} x_{i} - e^{β^{T} x_{i}}) + \sum_{factors g} λ_{g} (\sum_{j \in g} | β_{j} | + \frac{1}{2} \sum_{j, k \in g} | β_{j} - β_{k} |) .

$\hat{\beta} = \arg\min_{\beta} \frac{-1}{n} \sum_{i=1}^n \left(y_i \beta^T x_i - e^{\beta^T x_i} \right) + \sum_{\textrm{factors g}} \lambda_g \left(\sum_{j \in g} |\beta_j| + \frac{1}{2} \sum_{j,k \in g} |\beta_j - \beta_k| \right).$

Lưu ý rằng là hàm mất cho log-linear mô hình. $\frac{-1}{n} \sum_{i=1}^n \left(y_i \beta^T x_i - e^{\beta^T x_i} \right)$

Điều này khuyến khích các hệ số trong một nhóm bằng nhau. Sự bằng nhau của các hệ số này tương đương với việc thu hẹp các mức và của yếu tố này với nhau. Trong trường hợp khi , nó tương đương với việc thu gọn mức với mức tham chiếu. Các tham số điều chỉnh có thể được coi là hằng số, nhưng điều này nếu chỉ có một vài yếu tố, tốt hơn là coi chúng là riêng biệt. $j^{th}$ $k^{th}$ $\hat{\beta}_j=0$ $j^{th}$ $\lambda_g$

Công cụ ước tính là một bộ thu nhỏ của hàm lồi, do đó nó có thể được tính toán hiệu quả thông qua các bộ giải tùy ý. Có thể là nếu một yếu tố có nhiều, nhiều cấp độ, những khác biệt theo cặp này sẽ vượt khỏi tầm tay --- trong trường hợp này, việc biết thêm cấu trúc về các mô hình sụp đổ có thể sẽ là cần thiết.

Lưu ý rằng tất cả điều này được thực hiện trong một bước! Đây là một phần của những gì làm cho công cụ ước tính kiểu Lasso rất tuyệt!

Một cách tiếp cận thú vị khác là sử dụng công cụ ước tính OSCAR, giống như trên, ngoại trừ hình phạt được thay thế bằng . $\|[-1 \, 1] \cdot [\beta_i \, \beta_j]'\|_1$ $\|[\beta_i \, \beta_j]\|_\infty$

— người dùng795305
nguồn