Mối quan hệ giữa điểm GINI và tỷ lệ khả năng đăng nhập là gì

Tôi đang nghiên cứu cây phân loại và hồi quy, và một trong những biện pháp cho vị trí phân tách là điểm GINI.

Bây giờ tôi đã quen với việc xác định vị trí phân chia tốt nhất khi nhật ký tỷ lệ khả năng của cùng một dữ liệu giữa hai phân phối bằng 0, có nghĩa là khả năng thành viên là có khả năng như nhau.

Trực giác của tôi nói rằng phải có một mối liên hệ nào đó, rằng GINI phải có một nền tảng tốt trong một lý thuyết thông tin toán học (Shannon) nhưng tôi không hiểu rõ về GINI đủ để tự mình rút ra mối quan hệ.

Câu hỏi:

"Nguyên tắc đầu tiên" của điểm tạp chất GINI là thước đo để phân chia là gì?
Làm thế nào để điểm GINI liên quan đến nhật ký tỷ lệ khả năng hoặc các nguyên tắc cơ bản thông tin khác (Shannon Entropy, pdf và entropy chéo là một phần của những điều đó)?

Tài liệu tham khảo:

Entropy của Shannon được mô tả là:

H (x) = = Σ_{tôi} P (x_{tôi}) {đăng nhập}_{b} P (x_{tôi})

$H \left(x \right) = \Sigma_{i} P\left(x_{i} \right)\log_{b} P\left(x_{i} \right)$

Mở rộng điều này sang trường hợp đa biến chúng ta nhận được:

H (X, Y) = = Σ_{x} Σ_{y} P (x, y) {đăng nhập}_{b} P (x, y)

$H \left(X,Y \right)= \Sigma_{x}\Sigma_{y} P\left(x,y \right)\log_{b} P\left(x,y \right)$

Entropy có điều kiện được định nghĩa như sau:

\begin{aligned} H (X | Y) & = = Σ_{y} p (x, y) {đăng nhập}_{b} \frac{p (x)}{p (x, y)} \\ hoặc là, \\ H (X | Y) & = = H (X, Y) - H (Y) \end{aligned}

$\begin{align} H \left(X|Y \right) &= \Sigma_{y} p\left(x,y \right)\log_{b} \frac {p\left(x \right)} {p\left(x,y \right)} \newline &\text{or,} \newline H \left(X|Y \right) &= H \left(X,Y \right) - H \left(Y \right) \end{align}$

Nhật ký của tỷ lệ khả năng được sử dụng để phát hiện thay đổi đột ngột và được bắt nguồn bằng cách sử dụng chúng. (Tôi không có đạo hàm trước mặt tôi.)

Tạp chất GINI:

Dạng chung của tạp chất GINI là $I = \sum_{i=1}^m f_{i} \cdot \left( 1-f_{i}\right)$

Suy nghĩ:

Việc tách được thực hiện trên thước đo tạp chất. "Độ tinh khiết" cao có khả năng giống như entropy thấp. Cách tiếp cận có khả năng liên quan đến giảm thiểu entropy.
Có khả năng phân phối cơ sở giả định là đồng nhất, hoặc có thể bằng cách vẫy tay, Gaussian. Họ có khả năng thực hiện một hỗn hợp phân phối.
Tôi tự hỏi nếu dẫn xuất biểu đồ Shewhart có thể áp dụng ở đây?
Tạp chất GINI trông giống như tích phân của hàm mật độ xác suất cho phân phối nhị thức với 2 thử nghiệm và một thành công. $P(x=k)= \begin{pmatrix} 2\\ 1\end{pmatrix} p \left( 1-p \right)$

(bổ sung)

Biểu mẫu cũng phù hợp với phân phối nhị thức Beta, là liên hợp trước khi phân phối Hypergeometric. Các xét nghiệm siêu âm thường được sử dụng để xác định mẫu nào vượt quá hoặc dưới đại diện trong mẫu. Ngoài ra còn có mối quan hệ với bài kiểm tra chính xác của Fisher, bất kể đó là gì (lưu ý đến bản thân, hãy tìm hiểu thêm về điều này).

Chỉnh sửa: Tôi nghi ngờ rằng có một dạng GINI hoạt động rất tốt với logic kỹ thuật số và / hoặc rb-cây. Tôi hy vọng sẽ khám phá điều này trong một dự án lớp học vào mùa thu này.

— EngrStudent - Phục hồi Monica
nguồn

Có vấn đề gì không nếu tôi trả lời câu hỏi của chính mình?

— EngrStudent - Phục hồi Monica

Không hoàn toàn không. Nếu bạn đã đưa ra những gì bạn nghĩ là một câu trả lời hợp lý, hãy bắn đi.

— gung - Phục hồi Monica

@EngrStudent. câu hỏi hay nhưng liên kết đầu tiên bạn cung cấp trong phần tài liệu tham khảo liên quan đến hệ số Gini, không liên quan gì đến biện pháp Gini được sử dụng trong GIỎ HÀNG

— Antoine

Liên quan đến chỉ số Gini Tôi vừa đăng một cách giải thích đơn giản: stats.stackexchange.com/questions/308885/ Kẻ

— Picaud Vincent

Câu trả lời:

Tôi sẽ sử dụng cùng một ký hiệu tôi đã sử dụng ở đây: Toán học đằng sau cây phân loại và hồi quy

Gini Gain và Information Gain ( ) đều là tiêu chí phân tách dựa trên tạp chất. Sự khác biệt duy nhất là trong hàm tạp chất : $IG$ $I$

$\textit{Gini}: \mathit{Gini}(E) = 1 - \sum_{j=1}^{c}p_j^2$
$\textit{Entropy}: H(E) = -\sum_{j=1}^{c}p_j\log p_j$

Chúng thực sự là các giá trị cụ thể của một biện pháp entropy tổng quát hơn (Entropy của Tsallis) được tham số hóa trong : $\beta$

H_{β} (E) = = \frac{1}{β - 1} (1 - Σ_{j = = 1}^{c} p_{j}^{β})

$H_\beta (E) = \frac{1}{\beta-1} \left( 1 - \sum_{j=1}^{c}p_j^\beta \right)$

$\textit{Gini}$ thu được với và với . $\beta = 2$ $H$ $\beta \rightarrow 1$

Khả năng đăng nhập, còn được gọi là -statistic, là một chuyển đổi tuyến tính của Thông tin đạt được: $G$

G -statistic = = 2 \cdot | E | \cdot tôi G

$G\text{-statistic} = 2 \cdot |E| \cdot IG$

Tùy thuộc vào cộng đồng (thống kê / khai thác dữ liệu), mọi người thích một biện pháp này hoặc biện pháp khác (Câu hỏi liên quan ở đây ). Chúng có thể tương đương khá nhiều trong quá trình cảm ứng cây quyết định. Khả năng đăng nhập có thể cho điểm cao hơn đối với các phân vùng cân bằng khi có nhiều lớp mặc dù [Lưu ý kỹ thuật: Một số thuộc tính của tiêu chí chia tách. Breiman 1996].

Gini Gain có thể đẹp hơn vì nó không có logarit và bạn có thể tìm thấy dạng đóng cho giá trị và phương sai dự kiến của nó theo giả định phân chia ngẫu nhiên [Alin Dobra, Johannes Gehrke: Bias Correction trong Phân loại cây xây dựng. ICML 2001: 90-97]. Nó không phải là dễ dàng cho thông tin đạt được (Nếu bạn quan tâm, xem tại đây ).

— Simone
nguồn

Câu hỏi hay. Thật không may, tôi không có đủ danh tiếng để upvote hoặc bình luận, vì vậy thay vào đó trả lời!

Tôi không rành lắm về kiểm tra tỷ lệ, nhưng tôi nhận ra rằng đó là một hình thức được sử dụng để so sánh khả năng dữ liệu phát sinh từ hai (hoặc nhiều) phân phối khác nhau , trong khi hệ số Gini là một thống kê tóm tắt của một phân phối.

Một cách hữu ích để nghĩ về hệ số Gini (IMO) là khu vực dưới đường cong Lorenz (liên quan đến cdf).

Có thể đánh đồng entropy của Shannon với Gini bằng cách sử dụng định nghĩa được đưa ra trong OP cho entropy:

$H = \Sigma_{i} P\left(x_{i} \right)\log_{b} P\left(x_{i} \right)$

và định nghĩa của Gini:

$G = 1 - \frac{1}{\mu}\Sigma_i P(x_i)(S_{i-1} + S_i)$

$S_i = \Sigma_{j=1}^i P(x_i)x_i$ $x_i$

Nó không giống như một nhiệm vụ dễ dàng!

— Gabriel
nguồn

Một tỷ lệ khả năng đăng nhập được vận hành trên cùng một dữ liệu. Một trong những bản phân phối có thể có dạng chung như các bản phân phối khác, nhưng các tham số của nó được gắn vào dữ liệu khi một số tiêu chí khác là đúng. Chẳng hạn, bạn có thể có một phân phối có tham số mô tả biến thể quy trình sản xuất lành mạnh (không nhất thiết là Gaussian) và phân phối khác phù hợp với các giá trị quy trình sản xuất hiện tại và hoạt động cả trên các giá trị quy trình sản xuất hiện tại so sánh tỷ lệ khả năng ghi nhật ký với giá trị ngưỡng cho biết khả năng du ngoạn. Nó có thể thực tế để được so sánh với lý tưởng.

— EngrStudent - Phục hồi Monica