Trong làm mịn Kneser-Ney, những từ không nhìn thấy được xử lý như thế nào?

Từ những gì tôi đã thấy, công thức làm mịn Kneser-Ney (bậc hai) theo cách này hay cách khác được đưa ra như

$\begin{align} P^2_{KN}(w_n|w_{n-1}) &= \frac{\max \left\{ C\left(w_{n-1}, w_n\right) - D, 0\right\}}{\sum_{w'} C\left(w_{n-1}, w'\right)} + \lambda(w_{n-1}) \times P_{cont}(w_n) \end{align}$

với hệ số chuẩn hóa được cho là$\lambda(w_{n-1})$

$\begin{align} \lambda(w_{n-1}) &= \frac{D}{\sum_{w'} C\left(w_{n-1}, w'\right)} \times N_{1+}\left(w_{n-1}\bullet\right) \end{align}$

và xác suất tiếp tục $P_{cont}(w_n)$ của một từ $w_n$

$\begin{align} P_{cont}(w_n) &= \frac{N_{1+}\left(\bullet w_{n}\right)}{\sum_{w'} N_{1+}\left(\bullet w'\right)} \end{align}$

Trong đó $N_{1+}\left(\bullet w\right)$ là số lượng bối cảnh $w$ được nhìn thấy trong hoặc đơn giản hơn, số lượng từ khác biệt $\bullet$ đứng trước từ đã cho $w$ . Từ những gì tôi đã hiểu, công thức có thể được áp dụng đệ quy.

Bây giờ, điều này xử lý các từ đã biết trong ngữ cảnh không xác định độc đáo cho các độ dài n-gram khác nhau, nhưng điều không giải thích được là phải làm gì khi có các từ ngoài từ điển. Tôi đã thử làm theo ví dụ này trong đó nói rằng trong bước đệ quy cho unigram, $P_{cont}(/) = P^0_{KN}(/) = \frac{1}{V}$ . Tài liệu sau đó sử dụng điều này - trích dẫn Chen và Goodman - để biện minh cho công thức trên là $P^1_{KN}(w) = P_{cont}(w)$ .

Tôi không thấy nó hoạt động như thế nào khi có một từ chưa biết . Trong những trường hợp này, vì rõ ràng, từ chưa biết không tiếp tục bất cứ điều gì liên quan đến tập huấn luyện. Tương tự, số lượng n-gram sẽ là .P c o n t ( chưa biết ) = $w = \text{unknown}$ C(wn-1,chưa biết)=$P_{cont}(\text{unknown}) = \frac{0}{\text{something}}$$C\left(w_{n-1}, \text{unknown}\right) = 0$

Hơn nữa, toàn bộ thuật ngữ có thể bằng 0 nếu gặp phải một chuỗi các từ chưa biết - giả sử, một bát quái của các từ 3M - gặp phải.$\sum_{w'} C\left(w_{n-1}, w'\right)$

Tôi đang thiếu gì?

Dan Jurafsky đã xuất bản một chương về các mô hình N-Gram nói một chút về vấn đề này:

Khi chấm dứt đệ quy, unigram được nội suy với phân phối thống nhất:

$\begin{align} P_{KN}(w) = \frac{\max(c_{KN}(w)-d,0)}{\sum_{w'}c_{KN}(w')}+\lambda(\epsilon)\frac{1}{|V|} \end{align}$

Nếu chúng ta muốn bao gồm một từ chưa biết <UNK>, thì nó chỉ được đưa vào như một mục từ vựng thông thường với số không, và do đó xác suất của nó sẽ là:

$\begin{align} \frac{\lambda(\epsilon)}{|V|} \end{align}$

Tôi đã cố gắng tìm hiểu điều này có nghĩa là gì, nhưng tôi không chắc liệu chỉ có nghĩa là . Nếu đây là trường hợp và bạn cho rằng khi số đếm về 0, có thể chuyển sang , theo:lim x → 0 x λ ( ϵ ) $\epsilon$$\lim_{x\rightarrow0}x$$\lambda(\epsilon)$$d$

$\begin{align} \lambda(w_{i-1}) = \frac{d}{c(w_{i-1})}\vert\{w:c(w_{i-1},w)>0\}\vert \end{align}$

sau đó từ không xác định chỉ được gán một phần chiết khấu, nghĩa là:

$\begin{align} \frac{\lambda(\epsilon)}{|V|} = \frac{d}{|V|} \end{align}$

Tôi không tự tin về câu trả lời này chút nào, nhưng muốn đưa nó ra khỏi đó trong trường hợp nó làm nảy sinh thêm một số suy nghĩ.

Cập nhật: Đào sâu thêm một số thứ, có vẻ như thường được sử dụng để biểu thị chuỗi trống (""), nhưng vẫn chưa rõ điều này ảnh hưởng đến việc tính toán . vẫn là dự đoán tốt nhất của tôi$\epsilon$$\lambda$$\frac{d}{|V|}$

Có nhiều cách để đào tạo một người mẫu <UNK>mặc dù Jurafsky đề nghị chọn những từ đó xuất hiện rất ít lần trong đào tạo và chỉ cần thay đổi chúng thành <UNK>.

Sau đó, chỉ cần đào tạo xác suất như bạn thường làm.

Xem video này bắt đầu lúc 3:40 -

https://group.coursera.org/nlp/lecture/19

Một cách tiếp cận khác là chỉ đơn giản coi một từ là <UNK>lần đầu tiên nó được nhìn thấy trong đào tạo, mặc dù theo kinh nghiệm của tôi, cách tiếp cận này gán quá nhiều khối lượng xác suất <UNK>.

Chỉ cần một vài suy nghĩ, tôi không phải là một chuyên gia về vấn đề này nên tôi không có ý định đưa ra câu trả lời cho câu hỏi mà chỉ phân tích nó.

$\lambda(\epsilon)$$\lambda(\epsilon)$

Một lựa chọn khác là ước tính <unk>xác suất với các phương thức được Randy đề cập và coi nó như một mã thông báo thông thường.

$\frac{\lambda(\epsilon)}{|V|}$