Tại sao việc thêm xác suất đăng nhập nhanh hơn nhân xác suất?

Để đóng khung câu hỏi, trong khoa học máy tính, chúng tôi thường muốn tính toán sản phẩm của một số xác suất:

P(A,B,C) = P(A) * P(B) * P(C)

Cách tiếp cận đơn giản nhất chỉ đơn giản là nhân những con số này, và đó là điều tôi sẽ làm. Tuy nhiên, ông chủ của tôi nói rằng tốt hơn là thêm nhật ký xác suất:

log(P(A,B,C)) = log(P(A)) + log(P(B)) + log(P(C))

Điều này đưa ra xác suất đăng nhập, nhưng chúng ta có thể có xác suất sau đó nếu cần:

P(A,B,C) = e^log(P(A,B,C))

Đăng nhập bổ sung được coi là tốt hơn vì hai lý do:

1. Nó ngăn chặn "dòng chảy" theo đó sản phẩm của xác suất quá nhỏ đến mức nó được làm tròn thành không. Điều này thường có thể là một rủi ro vì xác suất thường rất nhỏ.
2. Nó nhanh hơn vì nhiều kiến ​​trúc máy tính có thể thực hiện bổ sung nhanh hơn nhân.

Câu hỏi của tôi là về điểm thứ hai. Đây là cách tôi đã thấy nó được mô tả, nhưng nó không tính đến chi phí bổ sung để có được nhật ký! Chúng ta nên so sánh "chi phí log + chi phí bổ sung" với "chi phí nhân". Nó vẫn còn nhỏ hơn sau khi tính đến điều đó?

Ngoài ra, trang Wikipedia ( Xác suất đăng nhập ) gây nhầm lẫn về mặt này, trong đó nêu rõ "Việc chuyển đổi sang hình thức nhật ký rất tốn kém, nhưng chỉ phát sinh một lần." Tôi không hiểu điều này, vì tôi nghĩ rằng bạn sẽ cần phải ghi nhật ký của mọi thuật ngữ một cách độc lập trước khi thêm. Tôi đang thiếu gì?

Cuối cùng, lời biện minh rằng "máy tính thực hiện phép cộng nhanh hơn phép nhân" là một điều mơ hồ. Là cụ thể cho tập lệnh x86, hay nó là một đặc điểm cơ bản hơn của kiến ​​trúc bộ xử lý?

Ngoài ra, trang Wikipedia ( https://en.wikipedia.org/wiki/Log_probability ) gây nhầm lẫn về mặt này, trong đó nêu rõ "Việc chuyển đổi sang dạng nhật ký rất tốn kém, nhưng chỉ phát sinh một lần." Tôi không hiểu điều này, vì tôi nghĩ rằng bạn sẽ cần phải ghi nhật ký của mọi thuật ngữ một cách độc lập trước khi thêm. Tôi đang thiếu gì?

Nếu bạn chỉ muốn để tính một lần, sau đó bạn là đúng. Bạn sẽ phải tính n logarit và n - 1 phép cộng, trong khi phương thức ngây thơ đòi hỏi n - 1 phép nhân.$P(A_1)\ldots P(A_n)$$n$$n-1$$n-1$

Tuy nhiên, điều rất phổ biến là bạn muốn trả lời các truy vấn có dạng:

Tính đối với một số tập hợp con$\prod_{i \in I} P(A_i)$ của { 1 , ... n } .$I$$\{1, \ldots n\}$

Trong trường hợp đó, bạn có thể xử lý trước dữ liệu của mình để tính toán tất cả một lần và trả lời từng truy vấn bằng cách thực hiện | Tôi | bổ sung.$\log P(A_i)$$|I|$

Cuối cùng, lời biện minh rằng "máy tính thực hiện phép cộng nhanh hơn phép nhân" là một điều mơ hồ. Là cụ thể cho tập lệnh x86, hay nó là một đặc điểm cơ bản hơn của kiến ​​trúc bộ xử lý?

Đây là một câu hỏi rộng hơn. Nói chung, khó có thể tính toán nhân hơn so với phép cộng. Tính là tuyến tính theo kích thước của $a+b$$a$ và (sử dụng thuật toán tầm thường), trong khi chúng ta hiện không biết cách tính a × b với độ phức tạp cùng thời gian (kiểm tra các thuật toán tốt nhất ở đây ).$b$$a\times b$

Tất nhiên, không có câu trả lời dứt khoát: ví dụ nếu bạn chỉ xử lý các số nguyên và bạn nhân với lũy thừa của , thì bạn nên so sánh sự thay đổi với các hoạt động thêm.$2$

Tuy nhiên, đây là một tuyên bố hợp lý trên tất cả các kiến ​​trúc máy tính phổ biến: phép nhân trên các số dấu phẩy động sẽ chậm hơn so với phép cộng.

Bởi "phát sinh một lần" có lẽ có nghĩa là nếu bạn có xác suất p 1 , . . . p N sau đó bạn chuyển sang không gian nhật ký chỉ một lần bằng cách lấy nhật ký của từng p i , thực hiện phép nhân xác suất trong không gian nhật ký bằng cách thêm chúng (ít tốn thời gian hơn), sau đó chuyển trở lại không gian ban đầu của bạn bằng cách sử dụng lũy ​​thừa.$N$$p_1,...p_N$$p_i$

$N$

$O(n)$$n$$O(n^2)$

Nhân tiện, ý tưởng này tương tự như phép nhân mô-đun Montgomery, trong đó phép nhân được thực hiện ở dạng Montgomery khá nhanh hơn phép nhân thông thường và sau đó giảm.