Chúng tôi đang tìm kiếm một cách để token hóa một số văn bản theo cách tương tự hoặc tương tự như một công cụ tìm kiếm sẽ làm điều đó.

Lý do chúng tôi đang làm điều này là để chúng tôi có thể chạy một số phân tích thống kê trên các mã thông báo. Ngôn ngữ chúng tôi đang sử dụng là python, vì vậy sẽ thích một kỹ thuật hoạt động trong ngôn ngữ đó, nhưng có lẽ có thể thiết lập một cái gì đó để sử dụng ngôn ngữ khác nếu cần thiết.

Thí dụ

Mã thông báo gốc:

Chúng tôi có một số burritos tuyệt vời!

Đơn giản hơn: (loại bỏ số nhiều và dấu câu)

Chúng tôi có một số burrito tuyệt vời

Thậm chí đơn giản hơn: (loại bỏ các từ thừa)

burrito tuyệt vời

Tốt nhất: (nhận ra ý nghĩa tích cực và tiêu cực):

burrito -poseitive-

Python có một bộ công cụ ngôn ngữ tự nhiên tuyệt vời, NLTK . Nó hỗ trợ tokenisation từ hộp:

>>> import nltk
>>> input = 'We have some great burritos!'
>>> tokens = nltk.word_tokenize(input)
>>> tokens
['We', 'have', 'some', 'great', 'burritos', '!']
>>> nltk.pos_tag(tokens)
[('We', 'PRP'), ('have', 'VBP'), ('some', 'DT'), ('great', 'JJ'), ('burritos', 'NNS'), ('!', '.')]

Cấu trúc cuối cùng bao gồm các thẻ ngôn ngữ tự nhiên, cho phép bạn bỏ các từ khỏi xem xét dựa trên phân loại của chúng. Bạn có thể muốn tập trung vào các thẻ JJ(tính từ) và NN-prefixed (danh từ).

Từ đó trở đi, bạn có thể áp dụng từ gốc và phát hiện các tính từ tích cực và tiêu cực.

Tôi tin rằng để phân loại tính từ, tuy nhiên, bạn cần tạo kho riêng của mình từ các tài nguyên trực tuyến như thế này ; thư viện cung cấp cho bạn các công cụ cho việc này.

Dưới đây là một ví dụ xuất phát bằng thuật toán xuất phát Porter:

>>> from nltk.stem.porter import PorterStemmer
>>> PorterStemmer().stem('burritos')
'burrito'

O'Reilly đã xuất bản một cuốn sách về thư viện, hiện đã có trên mạng .