Khi coi một người thân, chức năng tiện ích được chuẩn hóa như một pmf, việc giải thích thông tin về entropy hoặc Shannon là gì?

10

Giả sử $\Omega$ là một tập hợp các kết quả loại trừ lẫn nhau của một biến ngẫu nhiên rời rạc và $f$ là một hàm tiện ích mà $0 < f(\omega) \leq 1$ , $\sum_\Omega f(\omega) = 1$ , vv

Khi $f$ được phân bố đều trên $\Omega$ và $f$ là một hàm xác suất tin đại chúng , Shannon entropy $H(\Omega) = \sum_{\Omega}f(\omega)log\frac{1}{f(\omega)}$ là tối đa ( $=log|\Omega|)$ , và khi một phần tử trong $\Omega$ có tất cả các $f$ 's tin đại chúng, các entropy Shannon được giảm thiểu ( $0$ , trên thực tế). Điều này tương ứng với trực giác vềngạc nhiên(hoặcgiảm độ không chắc chắn) và kết quả vàđộ không chắc chắn(hoặcdự đoán là siêu định) và các biến ngẫu nhiên:

Khi $f$ được phân phối đồng đều, độ không đảm bảo được tối đa hóa, và càng có nhiều kết quả cho khối lượng được phân phối đồng đều, chúng ta càng không chắc chắn.
Khi $f$ có tất cả khối lượng tập trung vào một kết quả, chúng ta không có sự không chắc chắn.
Khi chúng tôi chỉ định kết quả là xác suất $1$ , chúng tôi không nhận được thông tin nào (là "không có gì ngạc nhiên") khi chúng tôi thực sự quan sát nó.
Khi chúng ta gán kết quả một xác suất càng ngày càng gần $0$ , việc quan sát nó thực sự xảy ra sẽ ngày càng có nhiều thông tin hơn ("đáng ngạc nhiên").

(Tất cả điều này không nói gì về sự cụ thể hơn - nhưng ít diễn giải hơn - mã hóa thông tin / entropy của Shannon, tất nhiên.)

Tuy nhiên, khi $f$ có giải thích hàm chức năng , có một cách giải thích hợp lý cho hoặc $log\frac{1}{f(\omega)}$ ? Dường như với tôi rằng có thể có: $\sum f(\omega)log\frac{1}{f(\omega)}$

nếu là một PMF đại diện cho một phân bố đều trên , sau đó là một hàm tiện ích tương ứng với sự thờ ơ trong những kết quả mà không thể được lớn * $f$ $\Omega$ $f$
một chức năng tiện ích trong đó một kết quả có tất cả các tiện ích và phần còn lại không có (như bị lệch về một tiện ích như có thể) tương ứng với các sở thích tương đối rất mạnh - thiếu sự thờ ơ.

Có một tài liệu tham khảo mở rộng về điều này? Tôi đã bỏ lỡ điều gì đó về những hạn chế trong việc so sánh các hàm khối lượng xác suất và các tiện ích tương đối được chuẩn hóa trên các biến ngẫu nhiên rời rạc?

* Tôi nhận thức được các đường cong thờ ơ và không thấy chúng có liên quan đến câu hỏi của tôi như thế nào vì nhiều lý do, bắt đầu tập trung vào một không gian mẫu phân loại và thực tế là tôi không quan tâm đến 'sự thờ ơ' mỗi se, nhưng đúng hơn là làm thế nào để diễn giải các tiện ích như xác suất và cách diễn giải các chức năng về xác suất khi 'phân phối xác suất' (rời rạc) trong câu hỏi thực sự hoặc (ngoài ra) có giải thích chức năng tiện ích.

— EM23
nguồn

Tôi không có câu trả lời, nhưng câu hỏi của bạn khiến tôi nghĩ đến việc sử dụng entropy trong vấn đề cắt bánh công bằng: en.wikipedia.org/wiki/Fair_dding-cut Mô hình chuẩn là bánh là một khoảng [0, 1], và có

tác nhân với các số đo giá trị chuẩn hóa khác nhau trên khoảng. Các biện pháp được coi là phi nguyên tử, nhưng không có giả định nào thêm về "entropy" của chúng. Thật thú vị khi nghĩ những gì chúng ta có thể nói về các vấn đề cắt bánh trong đó các chức năng tiện ích đã ràng buộc entropy.

n

$n$

— Erel Segal-Halevi

3

Trước khi thảo luận entropy của Shannon, có một điểm cần được thảo luận: nó xuất hiện mà bạn có trong tâm trí hồng y tiện ích chứ không phải là thứ tự .

Tất nhiên các chức năng tiện ích "Chuẩn hóa" có thể được bắt nguồn trong cả hai trường hợp. Nhưng khái niệm "ưu tiên tương đối" chỉ có thể được định nghĩa và đo lường trong bối cảnh tiện ích chính.

Và vấn đề không phát sinh ở hai thái cực mà bạn mô tả, nhưng trong tất cả các trường hợp trung gian có thể.

Một ví dụ đơn giản: giả sử rằng có ba "kết quả", (giả sử, mức tiêu thụ hoặc ba hàng hóa khác nhau ở một số lượng). Hàm tiện ích của bạn được gán cho chúng các giá trị $A, B, C$

V (Một) = = 1, V (B) = = 9, V (C) = = 90

$V(A) = 1, \;\;V(B) = 9,\;\; V(C) = 90$

Theo tiện ích thông thường, điều này chỉ cho chúng ta biết rằng

Một <_{p r} B <_{p r} C

$A <_{pr} B <_{pr} C$

Chắc chắn chúng ta có thể bình thường hóa chúng bằng cách chia cho để có được $100$

và thứ hạng của ba kết quả được giữ nguyên

{Bạn}_{V} (Một) = = 0,01, {Bạn}_{V} (B) = = 0,09, {Bạn}_{V} (C) = = 0,9

$U_V(A)=0.01, \;\; U_V(B) = 0.09,\;\; U_V(C) =0.9$

Nhưng theo tiện ích thông thường, chúng ta rất có thể sử dụng một chức năng tiện ích khác có thể gán

W (Một) = = 31, W (B) = = 32, W (C) = = 37

$W(A) = 31, \;\;W(B) = 32,\;\; W(C) = 37$

và có được

{Bạn}_{W} (Một) = = 0,31, {Bạn}_{W} (B) = = 0,32, {Bạn}_{W} (C) = = 0,37

$U_W(A)=0.31, \;\; U_W(B) = 0.32,\;\; U_W(C) =0.37$

Việc xếp hạng là như nhau nên hai chức năng tiện ích và là tương đương dưới tiện ích thứ tự. $V$ $W$

Nhưng trong những gì bạn đang mô tả, hàm tiện ích đại diện cho các sở thích tương đối khác với và do đó nó không phải là cùng một chức năng tiện ích. Nhưng điều này chỉ có ý nghĩa dưới hồng y tiện ích, nơi so sánh định lượng giữa số tiện ích được cho là có ý nghĩa. $W$ $V$

Bạn có quen thuộc với các vấn đề xung quanh tiện ích hồng y?

— Alecos Papadopoulos
nguồn

Nhận thức được vấn đề như vậy tồn tại? Đúng. Nhận thức được lý do tại sao (ngoài chỉnh sửa cá nhân) tôi có thể cần phải xem xét cẩn thận các vấn đề như vậy? Không thực sự, mặc dù đối với miền mà tôi quan tâm (vấn đề quyết định với các hành động và môi trường là RV phân loại), tiện ích thường được coi là hồng y, theo như tôi có thể nói -

và

thực sự sẽ được coi là các chức năng tiện ích riêng biệt , mặc dù đáng chú ý liên quan bằng cách hiển thị cùng thứ hạng ưu tiên. Tuy nhiên, tôi sẽ rất vui khi nghe thêm về các vấn đề xung quanh tiện ích hồng y.

V

$V$

U

$U$

— EM23

3

Sau khi trao đổi với OP trong câu trả lời khác của tôi, chúng ta hãy làm việc một chút với cách tiếp cận của anh ấy.

$X$ $X = \{x_1,...,x_k\}$ $\Pr(X=x_i)=p_i, i=1,...,k$

$X$ $u(x_i) > 0\; \forall i$

\begin{matrix} (1) & w (X) : w (x_{Tôi}) = = \frac{bạn (x_{Tôi})}{Σ_{Tôi = = 1}^{k} bạn (x_{Tôi})}, Tôi = = 1, . . ., k \end{matrix}

$w(X): w(x_i) = \frac {u(x_i)}{\sum_{i=1}^ku(x_i)},\;\;i=1,...,k \tag{1}$

và chúng ta được nói rằng

\begin{matrix} (2) & w (x_{Tôi}) = = p_{Tôi} \end{matrix}

$w(x_i) = p_i \tag{2}$

$w(x_i)$ $w(x_i)$

$w(x_i)$

\begin{matrix} (3) & E [w (X)] = = Σ_{Tôi = = 1}^{k} p_{Tôi} w (x_{Tôi}) = = Σ_{Tôi = = 1}^{k} p_{Tôi}^{2} \end{matrix}

$E[w(X)] = \sum_{i=1}^kp_iw(x_i) = \sum_{i=1}^kp_i^2 \tag{3}$

$p_i$ $\sum_{i=1}^kp_i=1$

\begin{matrix} (4) & argmin E [w (X)] = = p^{*} : p_{1} = = p_{2} = = . . . = = p_{k} = = 1 / k \end{matrix}

$\text{argmin} E[w(X)] = \mathbf p^*: p_1=p_2=...=p_k=1/k \tag {4}$

và chúng tôi đã thu được một kết quả chung:

$X$

$w(X)$ $E[w(X)]=1/k$

$w(X)$

Nhưng đó là ấn tượng của tôi rằng đây không phải là những gì OP có trong tâm trí. Thay vào đó, nó xem Entropy của Shannon như một số liệu có một số tính chất đại số mong muốn và có lẽ có thể đo lường một cách gọn gàng theo cách có ý nghĩa gì đó quan tâm.

Điều này đã được thực hiện trước đây trong Kinh tế, cụ thể là trong Tổ chức Công nghiệp, là các Chỉ số Tập trung Thị trường ("mức độ cạnh tranh / cấu trúc độc quyền của một thị trường") đã được xây dựng. Tôi lưu ý hai cái nhìn đặc biệt có liên quan ở đây.

$n$ $s_i$

H = = Σ_{Tôi = = 1}^{n} S_{Tôi}^{2}

$H = \sum_{i=1}^n s_i^2$

$w(X)$

R_{e} = = - Σ_{Tôi = = 1}^{n} S_{Tôi} \ln S_{Tôi}

$R_e = -\sum_{i=1}^n s_i\ln s_i$

Encaoua, D., & Jacquemin, A. (1980). Mức độ độc quyền, chỉ số tập trung và mối đe dọa nhập cảnh. Tạp chí kinh tế quốc tế, 87-105. , cung cấp một dẫn xuất tiên đề của các chỉ số nồng độ "cho phép", tức là chúng xác định các thuộc tính mà chỉ số đó phải có. Vì cách tiếp cận của họ là trừu tượng, tôi tin rằng nó có thể hữu ích với những gì OP muốn khám phá và gắn ý nghĩa.

— Alecos Papadopoulos
nguồn

1

$v=v*2-0.5$

Do đó, trước tiên bạn cần cung cấp thang tỷ lệ có ý nghĩa cho tiện ích của bạn. Một cách để làm điều này là đưa ra một diễn giải cho mức độ tiện ích 0 tự nhiên. Không có đặc điểm kỹ thuật này, entropy là vô nghĩa.

— Nhân sự
nguồn