Trong hoàn cảnh nào là từ vựng không phải là một bước cố vấn khi làm việc với dữ liệu văn bản?

Bỏ qua các hạn chế tính toán có thể có, có những ứng dụng chung trong đó từ vựng sẽ là một bước phản tác dụng khi phân tích dữ liệu văn bản?

Ví dụ, liệu từ vựng có phải là điều không được thực hiện khi xây dựng mô hình nhận biết ngữ cảnh không?

Để tham khảo, từ vựng trên mỗi dictinory.com là hành động nhóm các dạng bị biến dạng của (một từ) để phân tích thành một mục duy nhất.

Ví dụ: từ 'cook' là bổ đề của từ 'cook'. Ví dụ, hành động từ vựng là thay thế từ nấu ăn bằng nấu sau khi bạn đã mã hóa dữ liệu văn bản của mình. Ngoài ra, từ 'tệ hơn' có 'xấu' là bổ đề của nó, và như ví dụ trước thay thế từ 'tệ hơn' bằng 'xấu' là hành động của từ vựng.

Các nhiệm vụ NLP sẽ bị tổn hại bởi quá trình từ vựng:

1) Phân loại căng thẳng

      sentence        |  tense
------------------------------------
He cooked a nice meal |  past
He cooks a nice meal  |  present

Chuỗi các ký tự ở cuối động từ có thể giúp trong nhiệm vụ này. Các động từ nấu và nấu khác nhau ở các ký tự cuối ed và s lặp đi lặp lại.

Với từ vựng, thông tin này bị mất. Cả hai động từ trở thành cook , làm cho cả hai câu dường như (trong trường hợp này) ở thì hiện tại.

2) Nhận dạng tác giả

Được

• một bộ tài liệu được viết bởi tác giả $\mathcal{P}$$a$ ,
• một bộ tài liệu được viết bởi tác giả $\mathcal{Q}$$b$ ,
• một bộ tài liệu được viết bởi tác giả a hoặc b ,$\mathcal{S}$$a$$b$

$s\in\mathcal{S}$$a$$b$ .

$s$$\mathcal{P}$$\mathcal{Q}$ và chọn từ tương tự nhất.

Điều này hoạt động bởi vì các tác giả khác nhau sử dụng các từ nhất định với tần số khác nhau. Tuy nhiên, bằng cách sử dụng từ vựng, bạn làm biến dạng các tần số này làm giảm hiệu suất của mô hình.