Hiểu cách sử dụng logarit trong logarit TF-IDF

Lúc đó tôi đang đọc sách:

https://en.wikipedia.org/wiki/Tf%E2%80%93idf#DefDef

Nhưng tôi dường như không thể hiểu chính xác tại sao công thức được xây dựng theo cách của nó.

Những gì tôi làm Hiểu:

iDF ở một mức độ nào đó sẽ đo tần suất xuất hiện của một thuật ngữ S trong mỗi tài liệu, giảm giá trị vì thuật ngữ này xuất hiện thường xuyên hơn.

Từ quan điểm đó

$$iDF(S) = \frac{\# \text{ of Documents}}{\# \text{ of Documents containing S}}$$

Hơn nữa tần số hạn có thể được mô tả đúng như

$$tf(S,D) = \frac{\# \ \text{of Occurrences of S in document D}}{\# \ \text{maximum number of occurrences for any string Q in document D}}$$

Vậy thì biện pháp

$$iDF(S) \times tf(S,D)$$

theo một cách nào đó tỷ lệ thuận với tần suất xuất hiện của một thuật ngữ trong một tài liệu nhất định và mức độ duy nhất của thuật ngữ đó đối với tập hợp các tài liệu.

Những gì tôi không hiểu

Nhưng công thức đưa ra mô tả nó như là

$$\left( \log(iDF(S)) \right) \left( \frac{1}{2} + \log(\frac{1}{2} tf(S,D)) \right)$$

Tôi muốn hiểu sự cần thiết của logarit được mô tả trong định nghĩa. Giống như, tại sao họ ở đó? Họ nhấn mạnh khía cạnh nào?

$P(A, B) = P(A) \, P(B)$$\log(P(A,B)) = \log(P(A)) + \log(P(B))$

Như bài viết trên Wikipedia mà bạn liên kết lưu ý, sự biện minh của TF-IDF vẫn chưa được thiết lập tốt; đó là / là một heuristic mà chúng tôi muốn thực hiện nghiêm ngặt, không phải là một khái niệm nghiêm ngặt mà chúng tôi muốn chuyển sang thế giới thực. Như được đề cập bởi @ Anony-Mousse là một người đọc rất tốt về vấn đề này là Tần suất hiểu tài liệu nghịch đảo của Robertson : Về các lập luận lý thuyết cho IDF . Nó đưa ra một cái nhìn tổng quan về toàn bộ khuôn khổ và cố gắng đưa ra phương pháp luận TF-IDF cho trọng số phù hợp của các thuật ngữ tìm kiếm.