Làm cách nào tôi có thể ước tính số lần xuất hiện duy nhất từ ​​một mẫu dữ liệu ngẫu nhiên?

Giả sử tôi có một tập hợp lớn các giá trị đôi khi lặp lại. Tôi muốn ước tính tổng số giá trị duy nhất trong tập lớn.$S$

Nếu tôi lấy một mẫu ngẫu nhiên các giá trị và xác định rằng nó chứa các giá trị duy nhất T u , tôi có thể sử dụng giá trị này để ước tính số lượng giá trị duy nhất trong tập lớn không?$T$$T_u$

Dưới đây là toàn bộ bài viết về vấn đề này, với một bản tóm tắt các cách tiếp cận khác nhau. Nó được gọi là Ước tính giá trị riêng biệt trong văn học.

Nếu tôi phải tự làm điều này, mà không cần phải đọc những bài báo ưa thích, tôi sẽ làm điều này. Trong các mô hình ngôn ngữ xây dựng, người ta thường phải ước tính xác suất quan sát một từ chưa biết trước đó, được đưa ra một loạt các văn bản. Một cách tiếp cận khá tốt để giải quyết vấn đề này cho các mô hình ngôn ngữ nói riêng là sử dụng số lượng từ xảy ra chính xác một lần, chia cho tổng số mã thông báo. Nó được gọi là Ước tính Turing Tốt .

Đặt u1 là số lượng giá trị xảy ra chính xác một lần trong một mẫu của các mục m.

P[new item next] ~= u1 / m.

Đặt u là số lượng vật phẩm duy nhất trong mẫu kích thước m của bạn.

Nếu bạn nhầm tưởng rằng tỷ lệ 'mặt hàng mới tiếp theo' không giảm khi bạn có thêm dữ liệu, thì sử dụng Turing tốt, bạn sẽ có

total uniq set of size s ~= u + u1 / m * (s - m) 

Điều này có một số hành vi khó chịu khi u1 trở nên thực sự nhỏ, nhưng đó có thể không phải là vấn đề đối với bạn trong thực tế.

Chiến lược mô phỏng

Thu thập m mẫu ngẫu nhiên kích thước n từ tập S . Đối với mỗi mẫu m , tính số u của các giá trị duy nhất và chia cho n để chuẩn hóa. Từ phân phối mô phỏng của u bình thường hóa , tính toán thống kê tóm tắt về sở thích (ví dụ: trung bình, phương sai, phạm vi liên dải). Nhân giá trị trung bình mô phỏng của u chuẩn hóa với giá trị chính của S để ước tính số lượng giá trị duy nhất.

C và n càng lớn , giá trị mô phỏng của bạn càng sát với số lượng giá trị duy nhất thực sự.

Đây là một triển khai cho gấu trúc:

import math
import numpy as np
from collections import Counter

def estimate_uniqueness(df, col, r=10000, n=None):
    """ Draws a sample of size r from column col from dataframe df and 
        returns an estimate for the number of unique values given a
        population size of n """
    n = n or df.shape[0]
    sample = df[col][np.random.randint(0, n, r)]
    counts = sample.value_counts()
    fis = Counter(counts)
    estimate = math.sqrt(n / r) * fis[1] + sum([fis[x] for x in fis if x > 1])
    return estimate

Dựa vào Phần 2 và 4 của bài viết này: http://ftp.cse.buffalo.edu/users/azhang/disc/disc01/cd1/out/ con / pods / totestestatatimosur.pdf