Mô hình hóa ngôn ngữ: tại sao việc thêm tối đa 1 lại quan trọng như vậy?


8

Trong nhiều ứng dụng xử lý ngôn ngữ tự nhiên như sửa lỗi chính tả, dịch máy và nhận dạng giọng nói, chúng tôi sử dụng các mô hình ngôn ngữ. Các mô hình ngôn ngữ được tạo ra thường bằng cách đếm tần suất các chuỗi từ (n-gram) xuất hiện trong một kho văn bản lớn và chuẩn hóa số lượng để tạo xác suất. Để giải thích cho n-gram không nhìn thấy, chúng tôi sử dụng các phương pháp làm mịn (xem một số liệt kê ở đây ) lấy một số khối xác suất từ ​​n-gram được chứng thực trong mô hình và phân phối khối lượng này theo n-gram thứ tự thấp hơn (chuỗi từ ngắn hơn ) xác suất dự phòng.

Nhiều kỹ thuật làm mịn trở nên phức tạp về mặt toán học do các ràng buộc mà các tính toán phải giữ phân phối như một xác suất (phải thêm tối đa 1).

Lý do cho sự hạn chế này là gì? Lợi thế của việc sử dụng xác suất nghiêm ngặt để dự đoán thay vì điểm số của bất kỳ loại nào khác là gì?

PS Tài liệu tham khảo tương ứng với liên kết là [Stanley F. Chen và Joshua Goodman (1998), một nghiên cứu thực nghiệm về kỹ thuật làm mịn cho mô hình hóa ngôn ngữ "].


1
Tôi không làm việc trong lĩnh vực này, nhưng tôi không hiểu tại sao tổng các giá trị quan sát được và sau đó chia từng giá trị cho tổng số sẽ làm cho thuật toán trở nên khó sử dụng. Dường như với tôi rằng nếu các mô hình quá phức tạp, chậm hoặc không ổn định về số lượng (v.v.), thì vấn đề rất có thể xảy ra ở nơi khác.
gung - Phục hồi Monica

Không phân chia số lượng ở vị trí đầu tiên không phải là quá tệ. Nó trở nên phức tạp hơn khi bạn làm mịn. Katz, ví dụ: en.wikipedia.org/wiki/Katz's_back-off_model
user9617

@ user9617 liên kết của bạn đã chết, bạn có thể vui lòng cập nhật nó hoặc tốt hơn là thêm tài liệu tham khảo để mọi người vẫn có thể Google tài nguyên trong tương lai không? Cảm ơn trước
Antoine

@Antoine xong. Tôi hoàn toàn không hiểu những gì đã xảy ra với PDF mà tôi đã liên kết trước đó, nhưng cái này cũng tốt như vậy.
dùng9617

@ user9617 Cảm ơn +1! Tôi đã thêm tham chiếu tương ứng trong trường hợp liên kết chết một lần nữa trong tương lai.
Antoine

Câu trả lời:


5

Những lợi thế chính của việc sử dụng xác suất nghiêm ngặt là a) dễ dàng giải thích các con số; và b) có thể sử dụng định lý Bayes và các phương pháp xác suất khác trong phân tích tiếp theo. Trong một số tình huống mặc dù, nó là không cần thiết. Ví dụ: nếu bạn chỉ muốn xếp hạng kết quả mà không cần phân tích thêm, thì không cần phải bình thường hóa điểm số.

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.