Tính toán khả năng khi rất lớn, vậy khả năng trở nên rất nhỏ?

Tôi đang cố gắng tính toán phân phối sau này:

Vấn đề là tử số, là sản phẩm của một loạt các xác suất quá nhỏ. (My n lớn, khoảng 1500).$\text{Bernoulli}(p_i,y_i)$$n$

Do đó, các giá trị sau cho tất cả $\theta$ đều được tính bằng 0 (Tôi đang thực hiện tính toán trong R).

Để làm rõ, mỗi có riêng , cùng với các này tạo thành một vectơ gồm phần tử cho 's. Mỗi có vectơ pement riêng của .p i p i n n y θ n p $y_i$$p_i$$p_i$$n$$n$ $y$$\theta$$n$$p_i$

EDIT: Thêm một ví dụ sao chép (cho tử số)

p <- sample(seq(0,1,by=0.01), 1500, replace=T)
y <- sample(c(0,1), 1500, replace=T)
dbern(y, p) # 1500-element vector, each element is < 1
prod(dbern(y, p)) # produce 0
exp(sum(log(dbern(y, p)))) # produce 0 since the sum is very negative

Đây là một vấn đề phổ biến với tính toán khả năng cho tất cả các cách thức của các mô hình; các loại điều thường được thực hiện là để làm việc trên các bản ghi và sử dụng một hệ số tỷ lệ chung để đưa các giá trị vào một phạm vi hợp lý hơn.

Trong trường hợp này, tôi đề nghị:

Bước 1: Chọn một "khá điển hình" , . Chia công thức cho cả tử số và mẫu số của thuật ngữ chung cho tử số cho , để có được thứ gì đó sẽ ít bị tràn hơn.θ 0 θ = θ $\theta$$\theta_0$$\theta = \theta_0$

Bước 2: làm việc theo thang đo nhật ký, điều này có nghĩa là tử số là một tổng của sự khác biệt của các bản ghi và mẫu số là tổng của các khoản tiền khác nhau của các bản ghi.

Lưu ý: Nếu bất kỳ p nào của bạn là 0 hoặc 1, hãy rút chúng ra một cách riêng biệt và không lấy nhật ký của các điều khoản đó; họ dễ dàng đánh giá như vậy!

[Nói một cách tổng quát hơn, thang đo tỷ lệ và hoạt động trên thang đo log này có thể được xem là lấy một tập hợp các khả năng đăng nhập, và thực hiện điều này: . Một lựa chọn rõ ràng cho là tạo ra số hạng lớn nhất 0, để lại cho chúng tôi: . Lưu ý rằng khi bạn có tử số và mẫu số, bạn có thể sử dụng cùng một cho cả hai, sau đó sẽ hủy. Ở phần trên, điều đó tương ứng với việc lấy với khả năng đăng nhập cao nhất.]$l_i$$\log(\sum_i e^{l_i})= c+\log(\sum_i e^{l_i−c})$$c$c θ $\log(\sum_i e^{l_i})= \max_i(l_i)+\log(\sum_i e^{l_i−\max_i(l_i)})$$c$$\theta_0$

Các thuật ngữ thông thường trong tử số sẽ có xu hướng vừa phải hơn về kích thước, và vì vậy trong nhiều tình huống, tử số và mẫu số đều tương đối hợp lý.

Nếu có một phạm vi kích thước trong mẫu số, hãy thêm các kích thước nhỏ hơn trước khi thêm các kích thước lớn hơn.

Nếu chỉ có một vài thuật ngữ chiếm ưu thế lớn, bạn nên tập trung chú ý vào việc tính toán cho những điều tương đối chính xác.

Hãy thử viết hoa trên các thuộc tính của việc sử dụng logarit và tính tổng thay vì lấy tích của số thập phân. Sau khi tổng kết, chỉ cần sử dụng chống nhật ký để đưa nó trở lại dạng tự nhiên hơn. Tôi nghĩ rằng một cái gì đó như thế này nên làm

$\frac{exp(\sum_{i}^{n}(y_{i}*log(p_{i})+(1-y_{i})*log(1-p_{i})))}{\sum_{g}exp(\sum_{i}^{n}y_{i}*log(p_{i})+(1-y_{i})*log(1-p_{i}))}$