Tại sao điểm f beta định nghĩa beta như vậy?

10

Đây là điểm F beta:

F_{β} = (1 + β^{2}) \cdot \frac{p r e c i s i o n \cdot r e c a l l}{(β^{2} \cdot p r e c i s i o n) + r e c a l l}

$F_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}}$

Bài viết trên Wikipedia nói rằng . $F_\beta$ "measures the effectiveness of retrieval with respect to a user who attaches β times as much importance to recall as precision"

Tôi đã không có được ý tưởng. Tại sao định nghĩa như vậy? Tôi có thể xác định như thế này không: $\beta$ $F_\beta$

F_{β} = (1 + β) \cdot \frac{p r e c i s i o n \cdot r e c a l l}{(β \cdot p r e c i s i o n) + r e c a l l}

$F_\beta = (1 + \beta) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta \cdot \mathrm{precision}) + \mathrm{recall}}$

Và làm thế nào để thể hiện β times as much importance?

machine-learning precision-recall model-evaluation

— gọn gàng
nguồn

2

Kiểm tra một câu trả lời mới hơn dưới đây bao gồm phép tính vi phân giải quyết "tại sao Beta bình phương và không phải Beta".

— javadba

18

Đặt là trọng số trong định nghĩa đầu tiên bạn cung cấp và trọng số trong lần thứ hai, hai định nghĩa tương đương khi bạn đặt , vì vậy hai định nghĩa này chỉ biểu thị sự khác biệt về ký hiệu trong định nghĩa về điểm số của . Tôi đã thấy nó được định nghĩa theo cả cách thứ nhất (ví dụ trên trang wikipedia ) và cách thứ hai (ví dụ ở đây ). $\beta$ $\tilde\beta$ $\tilde\beta = \beta^2$ $F_\beta$

Các biện pháp thu được bằng cách lấy trung bình điều hòa chính xác và thu hồi, cụ thể là nghịch đảo của tỷ lệ trung bình của đối ứng chính xác và nghịch đảo của thu hồi: $F_1$

\begin{aligned} F_{1} & = \frac{1}{\frac{1}{2} \frac{1}{precision} + \frac{1}{2} \frac{1}{recall}} \\ = 2 \frac{precision \cdot recall}{precision + recall} \end{aligned}

$\begin{align*} F_1 &= \frac{1}{\frac{1}{2}\frac{1}{\text{precision}}+\frac{1}{2}\frac{1}{\text{recall}}} \\ &= 2\frac{\text{precision}\cdot\text{recall}}{\text{precision}+\text{recall}} \end{align*}$

Thay vì sử dụng các trọng số trong mẫu số bằng nhau và tổng bằng 1 ( để gọi lại và cho chính xác), thay vào đó, chúng tôi có thể gán các trọng số vẫn bằng 1 nhưng cho mà trọng số thu hồi là lần lớn hơn trọng lượng trên độ chính xác ( để thu hồi và cho độ chính xác). Điều này mang lại định nghĩa thứ hai của bạn về điểm số của : $\frac{1}{2}$ $\frac{1}{2}$ $\beta$ $\frac{\beta}{\beta+1}$ $\frac{1}{\beta+1}$ $F_\beta$

\begin{aligned} F_{β} & = \frac{1}{\frac{1}{β + 1} \frac{1}{precision} + \frac{β}{β + 1} \frac{1}{recall}} \\ = (1 + β) \frac{precision \cdot recall}{β \cdot precision + recall} \end{aligned}

$\begin{align*} F_\beta &= \frac{1}{\frac{1}{\beta+1}\frac{1}{\text{precision}}+\frac{\beta}{\beta+1}\frac{1}{\text{recall}}} \\ &= (1+\beta)\frac{\text{precision}\cdot\text{recall}}{\beta\cdot\text{precision}+\text{recall}} \end{align*}$

Một lần nữa, nếu chúng tôi đã sử dụng thay vì ở đây, chúng tôi sẽ đến định nghĩa đầu tiên của bạn, vì vậy sự khác biệt giữa hai định nghĩa chỉ là công chứng. $\beta^2$ $\beta$

— josliber
nguồn

1

tại sao họ lại nhân với thuật ngữ chính xác thay vì thuật ngữ thu hồi?

β

$\beta$

— Anwarvic

1

Phép tính vi phân giải quyết "tại sao Beta bình phương chứ không phải Beta" được bao gồm trong câu trả lời mới hơn bên dưới.

— javadba

@Anwarvic Họ đã nhân với lệnh thu hồi ngược . Sau khi bao thanh toán và mở rộng với có một thuật ngữ trái

β

$\beta$

(1 + β)

$(1+ \beta)$

precision \cdot recall

$\text{precision} \cdot \text{recall}$

β \cdot precision

$\beta \cdot \text{precision}$

— user2740

5

Lý do xác định điểm F-beta với chính xác là trích dẫn bạn cung cấp (nghĩa là muốn đính kèm lần quan trọng như nhớ lại độ chính xác) đưa ra một định nghĩa cụ thể về ý nghĩa của việc đính kèm gấp nhiều lần quan trọng để nhớ lại hơn độ chính xác. $\beta^{2}$ $\beta$ $\beta$

Cách cụ thể để xác định tầm quan trọng tương đối của hai số liệu dẫn đến công thức có thể được tìm thấy trong Truy xuất thông tin (Van Rijsbergen, 1979): $\beta^{2}$

Định nghĩa: Tầm quan trọng tương đối mà người dùng gắn với độ chính xác và thu hồi là tỷ lệ tại đó , trong đó là thước đo hiệu quả dựa trên độ chính xác và thu hồi. $P/R$ $\partial{E}/ \partial{R} = \partial{E}/ \partial{P}$ $E = E(P, R)$

Động lực cho việc này là:

Cách đơn giản nhất mà tôi biết để định lượng điều này là chỉ định tỷ lệ mà tại đó người dùng sẵn sàng giao dịch một mức tăng chính xác để lấy lại một khoản lỗ tương đương. $P/R$

Để thấy rằng dẫn này đến xây dựng chúng ta có thể bắt đầu với công thức chung cho trung bình điều hòa gia quyền của và và tính toán hàm riêng của họ đối với với và . Nguồn trích dẫn sử dụng (cho "biện pháp hiệu quả"), mà chỉ là và giải thích là tương đương cho dù chúng ta xem xét hoặc . $\beta^{2}$ $P$ $R$ $P$ $R$ $E$ $1-F$ $E$ $F$

F = \frac{1}{(\frac{α}{P} + \frac{1 - α}{R})}

$\begin{equation} F = \frac{1}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})} \end{equation}$

\partial F / \partial P = \frac{α}{(\frac{α}{P} + \frac{1 - α}{R})^{2} P^{2}}

$\begin{equation} \partial{F}/\partial{P} = \frac{\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}P^{2}} \end{equation}$

\partial F / \partial R = \frac{1 - α}{(\frac{α}{P} + \frac{1 - α}{R})^{2} R^{2}}

$\begin{equation} \partial{F}/\partial{R} = \frac{1-\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}R^{2}} \end{equation}$

Bây giờ, thiết lập các dẫn xuất tương đương với nhau nơi một hạn chế về mối quan hệ giữa và tỷ lệ . Vì chúng tôi muốn đính kèm lần quan trọng như vậy để nhớ lại độ chính xác, chúng tôi sẽ xem xét tỷ lệ¹ : $\alpha$ $P/R$ $\beta$ $R/P$

\partial F / \partial P = \partial F / \partial R \to \frac{α}{P^{2}} = \frac{1 - α}{R^{2}} \to \frac{R}{P} = \sqrt{\frac{1 - α}{α}}

$\begin{equation} \partial{F}/\partial{P} = \partial{F}/\partial{R} \rightarrow \frac{\alpha}{P^{2}} = \frac{1-\alpha}{R^{2}} \rightarrow \frac{R}{P} = \sqrt{\frac{1-\alpha}{\alpha}} \end{equation}$

Xác định theo tỷ lệ này và sắp xếp lại cho sẽ cho các trọng số theo : $\beta$ $\alpha$ $\beta^{2}$

β = \sqrt{\frac{1 - α}{α}} \to β^{2} = \frac{1 - α}{α} \to β^{2} + 1 = \frac{1}{α} \to α = \frac{1}{β^{2} + 1}

$\begin{equation} \beta = \sqrt{\frac{1-\alpha}{\alpha}} \rightarrow \beta^{2} = \frac{1-\alpha}{\alpha} \rightarrow \beta^{2} + 1 = \frac{1}{\alpha} \rightarrow \alpha = \frac{1}{\beta^{2} + 1} \end{equation}$

1 - α = 1 - \frac{1}{β^{2} + 1} \to \frac{β^{2}}{β^{2} + 1}

$\begin{equation} 1 - \alpha = 1 - \frac{1}{\beta^{2} + 1} \rightarrow \frac{\beta^{2}}{\beta^{2} + 1} \end{equation}$

Chúng tôi đạt được:

F = \frac{1}{(\frac{1}{β^{2} + 1} \frac{1}{P} + \frac{β^{2}}{β^{2} + 1} \frac{1}{R})}

$\begin{equation} F = \frac{1}{(\frac{1}{\beta^{2} + 1}\frac{1}{P} + \frac{\beta^{2}}{\beta^{2} + 1}\frac{1}{R})} \end{equation}$

Mà có thể được sắp xếp lại để đưa ra các hình thức trong câu hỏi của bạn.

Do đó, với định nghĩa được trích dẫn, nếu bạn muốn đính kèm lần quan trọng như nhớ lại độ chính xác thì nên sử dụng công thức . Giải thích này không giữ nếu một người sử dụng . Cách giải thích tương đương, ít trực quan hơn trong trường hợp chúng ta chỉ sử dụng sẽ là việc chúng ta muốn đính kèm nhiều lần quan trọng để nhớ lại độ chính xác. $\beta$ $\beta^{2}$ $\beta$ $\beta$ $\sqrt{\beta}$

Bạn có thể xác định điểm số như bạn đề xuất, tuy nhiên bạn nên lưu ý rằng trong trường hợp này, việc giải thích được thảo luận không còn tồn tại hoặc bạn đang ám chỉ một số định nghĩa khác để định lượng sự đánh đổi giữa độ chính xác và thu hồi.

Chú thích:

$P/R$ được sử dụng trong Truy xuất thông tin nhưng điều này dường như là một lỗi đánh máy, xem Sự thật về F-đo (Saski, 2007).

Người giới thiệu:

— Một người
nguồn

1

Đây phải là câu trả lời được chấp nhận.

— javadba

3

Để chỉ ra một cái gì đó nhanh chóng.

Điều đó có nghĩa là khi giá trị beta tăng, bạn đánh giá cao độ chính xác hơn.

Tôi thực sự nghĩ rằng điều ngược lại - vì điểm cao hơn là tốt hơn trong việc tính điểm F- ,, bạn muốn mẫu số nhỏ. Do đó, nếu bạn giảm, thì mô hình sẽ bị phạt ít hơn vì có điểm chính xác tốt. Nếu bạn tăng, thì điểm F-sẽ bị phạt nhiều hơn khi độ chính xác cao.

Nếu bạn muốn tính trọng số cho điểm F-để nó đánh giá độ chính xác, nên là 0 <β <1, trong đó β-> 0 chỉ có giá trị chính xác (tử số trở nên rất nhỏ và điều duy nhất trong mẫu số là nhớ lại, do đó điểm F-decreases giảm khi thu hồi tăng).

http://scikit-learn.org/urdy/modules/generated/sklearn.metrics.fbeta_score.html

— H Froedge
nguồn

0

Lý do ^ 2 được nhân với độ chính xác chỉ là cách xác định F-Scores. Điều đó có nghĩa là khi giá trị beta tăng, bạn đánh giá cao độ chính xác hơn. Nếu bạn muốn nhân nó với thu hồi cũng sẽ hoạt động, điều đó chỉ có nghĩa là khi giá trị beta tăng, bạn sẽ nhớ lại giá trị nhiều hơn.

— Mahmoud
nguồn

0

Giá trị beta lớn hơn 1 có nghĩa là chúng tôi muốn mô hình của mình chú ý nhiều hơn đến Thu hồi mô hình so với Chính xác. Mặt khác, giá trị dưới 1 sẽ nhấn mạnh hơn vào Độ chính xác.

— Mohit Sharma
nguồn