Làm thế nào để đo lường sự phân tán trong dữ liệu tần số từ?

Làm thế nào tôi có thể định lượng lượng phân tán trong một vectơ đếm từ? Tôi đang tìm kiếm một thống kê sẽ cao cho tài liệu A, bởi vì nó chứa nhiều từ khác nhau xảy ra không thường xuyên và thấp cho tài liệu B, vì nó chứa một từ (hoặc một vài từ) thường xảy ra.

Tổng quát hơn, làm thế nào để đo lường sự phân tán hoặc "lây lan" trong dữ liệu danh nghĩa?

Có một cách tiêu chuẩn để làm điều này trong cộng đồng phân tích văn bản?

$p_i$$\sum p_i^a [\ln (1/p_i)]^b$

1. $a = 0, b = 0$

2. $a = 2, b = 0$$1 - \sum p_i^2$$1 / \sum p_i^2$$k$$1/k$$\sum p_i^2 = k (1/k)^2 = 1/k$$k$

3. $a = 1, b = 1$$H$$\exp(H)$$k$$H = \sum^k (1/k) \ln [1/(1/k)] = \ln k$$\exp(H) = \exp(\ln k)$$k$

Công thức được tìm thấy trong IJ Good. 1953. Tần số dân số của loài và ước tính các thông số dân số. Biometrika 40: 237-264. www.jstor.org/urdy/2333344 .

Các cơ sở khác cho logarit (ví dụ 10 hoặc 2) đều có thể như nhau theo sở thích hoặc tiền lệ hoặc sự thuận tiện, chỉ với các biến thể đơn giản ngụ ý cho một số công thức ở trên.

Tái khám phá độc lập (hoặc sáng chế lại) biện pháp thứ hai được thể hiện qua một số nguyên tắc và các tên ở trên nằm cách xa danh sách đầy đủ.

Liên kết các biện pháp phổ biến trong một gia đình không chỉ hấp dẫn về mặt toán học. Nó nhấn mạnh rằng có một sự lựa chọn về biện pháp tùy thuộc vào các trọng số tương đối được áp dụng cho các mặt hàng khan hiếm và phổ biến, và do đó làm giảm bất kỳ ấn tượng nào về việc quảng cáo được tạo ra bởi một sự gợi ý nhỏ về các đề xuất rõ ràng tùy tiện. Tài liệu trong một số lĩnh vực bị suy yếu bởi các bài báo và thậm chí các cuốn sách dựa trên những tuyên bố khó hiểu rằng một số biện pháp được tác giả ủng hộ là biện pháp tốt nhất mà mọi người nên sử dụng.

Tính toán của tôi chỉ ra rằng các ví dụ A và B không quá khác nhau ngoại trừ biện pháp đầu tiên:

----------------------------------------------------------------------
          |  Shannon H      exp(H)     Simpson   1/Simpson      #items
----------+-----------------------------------------------------------
        A |      0.656       1.927       0.643       1.556          14
        B |      0.684       1.981       0.630       1.588           9 
----------------------------------------------------------------------

(Một số người có thể thích thú lưu ý rằng Simpson được đặt tên ở đây (Edward Hugh Simpson, 1922-) giống như được tôn vinh bởi nghịch lý của Simpson. Anh ấy đã làm rất tốt, nhưng anh ấy không phải là người đầu tiên khám phá ra điều gì anh ta được đặt tên, đến lượt nó là nghịch lý của Stigler, đến lượt nó ....)

Tôi không biết nếu có một cách phổ biến để làm điều đó, nhưng điều này đối với tôi tương tự như các câu hỏi bất bình đẳng trong kinh tế. Nếu bạn coi mỗi từ là một cá nhân và số lượng của chúng tương đương với thu nhập, bạn sẽ quan tâm đến việc so sánh vị trí của các từ nằm giữa các cực trị của mỗi từ có cùng số đếm (bình đẳng hoàn toàn) hoặc một từ có tất cả các số đếm và mọi người khác bằng không. Điều phức tạp là "số không" không xuất hiện, bạn không thể có ít hơn 1 số trong một túi từ như thường được định nghĩa ...

Hệ số Gini của A là 0,18 và của B là 0,43, cho thấy A "bằng" hơn B.

library(ineq)

A <- c(3, 2, 2, rep(1, 11))
B <- c(9, 2, rep(1, 7))
Gini(A)
Gini(B)

Tôi quan tâm đến bất kỳ câu trả lời khác quá. Rõ ràng phương sai cũ về số lượng cũng sẽ là điểm khởi đầu, nhưng bạn phải mở rộng quy mô bằng cách nào đó để làm cho nó có thể so sánh được với các túi có kích cỡ khác nhau và do đó số lượng trung bình của mỗi từ khác nhau.

Bài viết này có một đánh giá về các biện pháp phân tán tiêu chuẩn được sử dụng bởi các nhà ngôn ngữ học. Chúng được liệt kê dưới dạng các biện pháp phân tán một từ (Chúng đo lường sự phân tán của các từ trên các phần, trang, v.v.) nhưng có thể được sử dụng như là các biện pháp phân tán tần số từ. Các thống kê tiêu chuẩn dường như là:

1. lớn nhất nhỏ nhất
2. độ lệch chuẩn
3. $CV$
4. $\chi^2$

Kinh điển là:

1. $D = 1-\frac{CV}{\sqrt{n-1}}$
2. $S = N\frac{(\sum_{i=1}^{n}\sqrt{n_i})^2}{n}$
3. $D_2 = (\log_2N - \frac{\sum_{i=1}^n{n_i \log_2 n_i}}{N})/{\log_2(n)}$
4. $D_3 = \frac{1-\chi^2}{4N}$

$N$$n$$n_i$

Văn bản cũng đề cập đến hai biện pháp phân tán nữa, nhưng chúng dựa vào định vị không gian của các từ, vì vậy điều này không thể áp dụng được cho mô hình từ.

• Lưu ý : Tôi đã thay đổi ký hiệu gốc từ bài viết, để làm cho các công thức phù hợp hơn với ký hiệu chuẩn.

Việc đầu tiên tôi sẽ làm là tính toán entropy của Shannon. Bạn có thể sử dụng gói R infotheo, chức năng entropy(X, method="emp"). Nếu bạn quấn natstobits(H)quanh nó, bạn sẽ nhận được entropy của nguồn này theo bit.

$\boldsymbol{p} \equiv (p_1, ... , p_n)$

$0 \leqslant \bar{H}(\boldsymbol{p}) \leqslant 1$

• Bất đẳng thức cực đoan: Tất cả số đếm nằm trong một số loại . Trong trường hợp này, chúng ta có và điều này mang lại cho chúng ta .p i = I ( i = k ) ˉ H ( p ) = $k$$p_i = \mathbb{I}(i=k)$$\bar{H}(\boldsymbol{p}) = 0$

• Bình đẳng cực độ: Tất cả các số đều bằng nhau trên tất cả các loại. Trong trường hợp này, chúng tôi có và điều này mang lại cho chúng tôi .ˉ H ( p ) = $p_i = 1/n$$\bar{H}(\boldsymbol{p}) = 1$