Tại sao sự bối rối là một số liệu đánh giá tốt cho chatbot?

Một số bài báo nói rằng BLEU không phải là một phương pháp đánh giá thích hợp cho chatbot, thay vào đó họ sử dụng sự bối rối để ước tính chatbot.

Trước hết, sự bối rối là gì? Làm thế nào để tính toán nó? Và tại sao sự bối rối lại là một thước đo đánh giá tốt cho chatbot?

neural-networks natural-language-processing chat-bots

— RuiZhang1993
nguồn

Đây là một câu hỏi trên CrossValidated hỏi số liệu thống kê gây khó chịu.stackexchange.com / q / 10302/83535 là gì.

— nbro

Vui lòng tham khảo câu trả lời này: stats.stackexchange.com/a/450945/103153

— Lerner Zhang

Trong bài báo này, tác giả nói rằng sự bối rối tương quan rất tốt với sự phán xét của con người: arxiv.org/pdf/2001.09977.pdf

— Lerner Zhang

Với sự bối rối, bạn đang cố gắng đánh giá sự giống nhau giữa phân phối mã thông báo (trong trường hợp của bạn có thể là câu) được tạo bởi mô hình và mô hình trong dữ liệu thử nghiệm.

Ví dụ, giả sử bạn có $M$ câu phù hợp $s_1, \dots, s_M$ , mỗi cái có xác suất $P(s_i)$ , sự bối rối là

2^{- tôi},

$2^{-l},$ Ở đâu

l = \frac{1}{M} \sum P (s_{i}) \log P (s_{i})

$l = \frac{1}{M} \sum P(s_i) \log P(s_i)$ cho

i \in [1 \dots M]

$i \in [1 \dots M]$ .

Lưu ý rằng mặc dù sự lúng túng có thể hữu ích để nắm bắt các khía cạnh nhất định của mô hình, nhưng nó không có nghĩa là hoàn hảo, và ngay cả khi bạn có thể đạt được điểm số lúng túng tuyệt vời, nó sẽ không nhất thiết phải dịch sang một bot trò chuyện tốt hoặc thậm chí hoạt động tốt.

— bản lề
nguồn