Một lời giải thích đơn giản và rõ ràng về tạp chất Gini?

Trong bối cảnh chia tách cây quyết định, không rõ ràng tại sao tạp chất Gini là thước đo của tạp chất nút t . Có một lời giải thích dễ dàng về điều này?

Hãy tưởng tượng một thí nghiệm với $k$danh mục đầu ra có thể. thể loại$j$ có khả năng xảy ra $p(j|t)$ (Ở đâu $j=1,..k$)

Sau đó tái tạo trải nghiệm hai lần và thực hiện các quan sát sau:

• xác suất để có được hai đầu ra giống hệt nhau của thể loại $j$ Là $p^2(j|t)$
• xác suất để có được hai đầu ra giống hệt nhau , độc lập với danh mục của chúng, là:$\sum\limits_{j=1}^k p^2(j|t)$
• do đó xác suất thu được hai đầu ra khác nhau là:$1-\sum\limits_{j=1}^k p^2(j|t)$

Đó là nó! Tạp chất Gini chỉ đơn giản là xác suất thu được hai đầu ra khác nhau , đó là "thước đo tạp chất". Theo hướng khác, nếu chúng ta có một$j^\star$ như vậy mà $p(j^\star|t)=1$ (và do đó, p (j | t) = 0) khác, chúng ta có tạp chất Gini $i(t)=0$ và chúng tôi sẽ luôn nhận được hai kết quả đầu ra giống nhau $j^\star$, đó là một tình huống "thuần túy"!.

Tạp chất Gini = entropy logic = Chỉ số đa dạng sinh học Gini-Simpson = entropy bậc hai với hàm khoảng cách logic (1-Kroneckerdelta), v.v. Xem: Ellerman, David. 2018. Entropy Enticaly: Giới thiệu về Lý thuyết thông tin logic cổ điển và lượng tử. Entropy 20 (9): ID bài viết 679. https://doi.org/10.3390/e20090679 và các tài liệu tham khảo có trong đó.