Hủy bỏ thảm khốc trong logum

Tôi đang cố gắng thực hiện chức năng sau trong dấu phẩy động có độ chính xác kép với sai số tương đối thấp :

tôi o g S bạn m (x, y) = = đăng nhập (điểm kinh nghiệm (x) + điểm kinh nghiệm (y))

$\mathrm{logsum}(x,y) = \log(\exp(x) + \exp(y))$

Điều này được sử dụng rộng rãi trong các ứng dụng thống kê để thêm xác suất hoặc mật độ xác suất được thể hiện trong không gian nhật ký. Tất nhiên, hoặc có thể dễ dàng tràn hoặc tràn, điều này sẽ rất tệ vì không gian nhật ký được sử dụng để tránh tràn vào vị trí đầu tiên. Đây là giải pháp điển hình: $\exp(x)$ $\exp(y)$

tôi o g S bạn m (x, y) = = x + tôi o g 1 p (điểm kinh nghiệm (y - x))

$\mathrm{logsum}(x,y) = x + \mathrm{log1p}(\exp(y - x))$

Hủy bỏ từ sẽ xảy ra, nhưng được giảm nhẹ bởi . Tệ hơn nữa là khi và gần nhau. Đây là một biểu đồ lỗi tương đối: $y-x$ $\exp$ $x$ $\mathrm{log1p}(\exp(y - x))$

nhập mô tả hình ảnh ở đây

Cốt truyện bị cắt ở để nhấn mạnh hình dạng của đường cong , về việc hủy bỏ xảy ra. Tôi đã thấy lỗi lên tới và nghi ngờ rằng nó sẽ trở nên tồi tệ hơn nhiều. (FWIW, chức năng "sự thật mặt đất" được triển khai bằng cách sử dụng các số float chính xác tùy ý của MPFR với độ chính xác 128 bit.) $10^{-14}$ $\mathrm{logsum}(x,y) = 0$ $10^{-11}$

Tôi đã thử các cải cách khác, tất cả đều có kết quả tương tự. Với là biểu thức bên ngoài, lỗi tương tự xảy ra bằng cách lấy nhật ký của một cái gì đó gần 1. Với làm biểu thức bên ngoài, việc hủy bỏ xảy ra trong biểu thức bên trong. $\log$ $\mathrm{log1p}$

Bây giờ, lỗi tuyệt đối là rất nhỏ, vì vậy có lỗi tương đối rất nhỏ (trong một epsilon). Người ta có thể lập luận rằng, bởi vì người dùng thực sự quan tâm đến xác suất (không phải xác suất đăng nhập), lỗi tương đối khủng khiếp này không phải là vấn đề. Có vẻ như điều đó thường không xảy ra, nhưng tôi đang viết một chức năng thư viện và tôi muốn khách hàng của mình có thể tính được lỗi tương đối không tệ hơn nhiều so với lỗi làm tròn. $\exp(\mathrm{logsum}(x,y))$ $\mathrm{logsum}$

Có vẻ như tôi cần một cách tiếp cận mới. Nó có thể là gì?

floating-point stability numerics

— Neil Toronto
nguồn

Tôi không hiểu đoạn cuối của bạn. "trong một epsilon" không có ý nghĩa gì với tôi. Bạn có nghĩa là một đơn vị ở vị trí cuối cùng ? Đối với người dùng quan tâm đến xác suất, một lỗi xác suất đăng nhập nhỏ sẽ dẫn đến lỗi xác suất lớn, vì vậy đây không phải là trường hợp.

— Aron Ahmadia

Vì tò mò, bạn đã thử dùng "phương pháp tốt nhất" trong hai phương pháp của mình và vạch ra lỗi đó chưa? Sau đó, tất cả những gì bạn cần là logic phù hợp để phát hiện trường hợp nào bạn gặp phải (hy vọng sẽ ít tốn kém hơn hoặc là một phần chi phí cần thiết của thuật toán), sau đó chuyển sang phương pháp thích hợp.

— Aron Ahmadia

@AronAhmadia: "Trong một epsilon" có nghĩa là sai số tương đối nhỏ hơn một epsilon điểm chính xác kép, khoảng 2,22e-16. Đối với phao bình thường (tức là không bình thường), nó tương ứng với khoảng một ulp. Ngoài ra, nếu là lỗi tuyệt đối của , thì lỗi tương đối của là , gần bằng hàm nhận dạng gần bằng 0. IOW, lỗi tuyệt đối nhỏ đối với hàm ý lỗi tương đối nhỏ đối với .

a

$a$

x

$x$

\exp (x)

$\exp(x)$

\exp (a) - 1

$\exp(a)-1$

x

$x$

\exp (x)

$\exp(x)$

— Neil Toronto

Phụ lục: Khi sai số tuyệt đối gần bằng không. Khi chẳng hạn, bạn đúng: tương đối phát nổ.

a

$a$

a > 1

$a > 1$

— Neil Toronto

Công thức nên ổn định về số. Nó khái quát cho một tính toán ổn định về số

tôi o g S bạn m (x, y) = = tối đa (x, y) + tôi o g 1 p (điểm kinh nghiệm (- cơ bụng (x - y))

$\mathrm{logsum}(x,y)=\max(x,y)+\mathrm{log1p}(\exp(-\operatorname{abs}(x-y))$

đăng nhập \underset{Tôi}{Σ} e^{x_{Tôi}} = = ξ + đăng nhập \underset{Tôi}{Σ} e^{x_{Tôi} - ξ}, ξ = = \underset{Tôi}{tối đa} x_{Tôi}

$\log \sum_i e^{x_i} = \xi+ \log\sum_i e^{x_i-\xi},~~~\xi=\max_i x_i$

tôi o g S bạn m (x, y) = = tối đa (x, y) + tôi e x p (x - y)

$\mathrm{logsum}(x,y)=\max(x,y)+\mathrm{lexp}(x-y)$

tôi e x p (z) : = đăng nhập (1 + e^{- | z |})

$\mathrm{lexp}(z):=\log(1+e^{-|z|})$

z

$z$

— Arnold Neumaier
nguồn

Về mặt lỗi tuyệt đối, nó là. Xét về lỗi tương đối, thật tệ khi đầu ra gần bằng không.

— Neil Toronto

x

$x$

y

$y$

Với x = -0,775 và y = -0,6175, tôi nhận được lỗi 62271 ulps và lỗi tương đối 1.007e-11.

— Neil Toronto

Tính toán các điểm dữ liệu có độ chính xác cao trong phạm vi quan tâm - ít nhất là cần có các phạm vi khác nhau do hành vi tiệm cận. Người ta có thể sử dụng biểu thức xác định cho z không gần bằng không. Đối với phạm vi đặc biệt phù hợp với chức năng hợp lý đủ mức độ cao để có được độ chính xác mong muốn. Để ổn định bằng số, sử dụng đa thức bernstein hoặc đa thức Tchitherchev trong tử số và mẫu số, điều chỉnh theo khoảng quan tâm. Cuối cùng, mở rộng thành một phân số tiếp tục và tìm hiểu xem người ta có thể cắt giảm bao nhiêu hệ số mà không làm mất đi độ chính xác.

— Arnold Neumaier

l = l (z)

$l=l(z)$

m

$m$