Vấn đề được chỉ định bởi từ "điều hòa tốt." Đây là một vấn đề của số học máy tính, không phải toán học.
Dưới đây là những sự thật cơ bản cần xem xét:
Một radian trên trái đất kéo dài gần 10 ^ 7 mét.
Hàm cosine cho các đối số x gần 0 xấp xỉ bằng 1 - x ^ 2/2.
Điểm nổi chính xác kép có khoảng 15 chữ số thập phân chính xác.
Điểm (2) và (3) ngụ ý rằng khi x ở khoảng một mét, hoặc 10 ^ -7 radian (điểm 1), gần như tất cả độ chính xác bị mất: 1 - (10 ^ -7) ^ 2 = 1 - 10 ^ - 14 là một phép tính trong đó 14 chữ số đầu tiên trong số 15 chữ số có nghĩa đều bị hủy, chỉ còn lại một chữ số để biểu thị kết quả. Lật cái này xung quanh (đó là cái mà cosin nghịch đảo, "acos", có nghĩa là) tính toán acos cho các góc tương ứng với khoảng cách chiều dài mét có thể được thực hiện với bất kỳ độ chính xác có ý nghĩa nào. (Trong một số trường hợp xấu nhất định, việc mất độ chính xác mang lại giá trị trong đó acos thậm chí không được xác định, do đó mã sẽ bị hỏng và không có câu trả lời, câu trả lời vô nghĩa hoặc làm hỏng máy.) Các cân nhắc tương tự cho thấy bạn nên tránh sử dụng cosin nghịch đảo nếu khoảng cách dưới vài trăm mét có liên quan, tùy thuộc vào độ chính xác mà bạn sẵn sàng mất.
Vai trò của acos trong công thức định luật cosin ngây thơ là chuyển đổi một góc thành một khoảng cách. Vai trò đó được chơi bởi atan2 trong công thức haversine. Tiếp tuyến của một góc nhỏ x xấp xỉ bằng x chính nó. Do đó, tiếp tuyến nghịch đảo của một số, xấp xỉ số đó, được tính toán cơ bản mà không mất độ chính xác. Đây là lý do tại sao công thức haversine, mặc dù về mặt toán học tương đương với định luật công thức cosin, vượt trội hơn nhiều so với khoảng cách nhỏ (theo thứ tự từ 1 mét trở xuống).
Dưới đây là so sánh hai công thức sử dụng 100 cặp điểm ngẫu nhiên trên toàn cầu (sử dụng phép tính chính xác kép của Mathicala).
Bạn có thể thấy rằng với khoảng cách dưới 0,5 mét, hai công thức phân kỳ. Trên 0,5 mét họ có xu hướng đồng ý. Để cho thấy họ đồng ý chặt chẽ như thế nào, âm mưu tiếp theo cho thấy các tỷ lệ của định luật cosin: kết quả haversine cho 100 cặp điểm ngẫu nhiên khác, với vĩ độ và kinh độ của chúng khác nhau ngẫu nhiên tới 5 mét.
Điều này cho thấy luật công thức cosin tốt đến 3-4 chữ số thập phân một khi khoảng cách vượt quá 5-10 mét. Số lượng vị trí thập phân của độ chính xác tăng bậc hai; do đó ở 50-100 mét (một bậc độ lớn) bạn có được độ chính xác 5-6 dp (hai bậc độ lớn); ở 500-1000 mét bạn nhận được 7-8 dp, v.v.