Làm cách nào để thoát khỏi dấu chấm câu bằng cách sử dụng mã thông báo NLTK?

Tôi mới bắt đầu sử dụng NLTK và tôi hoàn toàn không hiểu làm thế nào để có được danh sách các từ trong văn bản. Nếu tôi sử dụng nltk.word_tokenize(), tôi nhận được một danh sách các từ và dấu câu. Tôi chỉ cần những từ thay thế. Làm thế nào tôi có thể thoát khỏi dấu câu? Cũng word_tokenizekhông hoạt động với nhiều câu: dấu chấm được thêm vào từ cuối cùng.

Hãy xem các tùy chọn mã thông báo khác mà nltk cung cấp ở đây . Ví dụ: bạn có thể xác định mã thông báo chọn ra các chuỗi ký tự chữ và số dưới dạng mã thông báo và loại bỏ mọi thứ khác:

from nltk.tokenize import RegexpTokenizer

tokenizer = RegexpTokenizer(r'\w+')
tokenizer.tokenize('Eighty-seven miles to go, yet.  Onward!')

Đầu ra:

['Eighty', 'seven', 'miles', 'to', 'go', 'yet', 'Onward']

Bạn không thực sự cần NLTK để xóa dấu câu. Bạn có thể loại bỏ nó với python đơn giản. Đối với chuỗi:

import string
s = '... some string with punctuation ...'
s = s.translate(None, string.punctuation)

Hoặc cho unicode:

import string
translate_table = dict((ord(char), None) for char in string.punctuation)   
s.translate(translate_table)

và sau đó sử dụng chuỗi này trong mã thông báo của bạn.

Mô-đun chuỗi PS có một số bộ phần tử khác có thể được loại bỏ (như chữ số).

Mã bên dưới sẽ loại bỏ tất cả các dấu chấm câu cũng như các ký tự không chữ cái. Sao chép từ cuốn sách của họ.

http://www.nltk.org/book/ch01.html

import nltk

s = "I can't do this now, because I'm so tired.  Please give me some time. @ sd  4 232"

words = nltk.word_tokenize(s)

words=[word.lower() for word in words if word.isalpha()]

print(words)

đầu ra

['i', 'ca', 'do', 'this', 'now', 'because', 'i', 'so', 'tired', 'please', 'give', 'me', 'some', 'time', 'sd']

Như được chú ý trong các bình luận bắt đầu bằng sent_tokenize (), vì word_tokenize () chỉ hoạt động trên một câu duy nhất. Bạn có thể lọc dấu chấm câu bằng bộ lọc (). Và nếu bạn có một chuỗi unicode, hãy chắc chắn rằng đó là một đối tượng unicode (không phải là một 'str' được mã hóa với một số mã hóa như 'utf-8').

from nltk.tokenize import word_tokenize, sent_tokenize

text = '''It is a blue, small, and extraordinary ball. Like no other'''
tokens = [word for sent in sent_tokenize(text) for word in word_tokenize(sent)]
print filter(lambda word: word not in ',-', tokens)

Tôi chỉ sử dụng đoạn mã sau, loại bỏ tất cả các dấu câu:

tokens = nltk.wordpunct_tokenize(raw)

type(tokens)

text = nltk.Text(tokens)

type(text)  

words = [w.lower() for w in text if w.isalpha()]

Tôi nghĩ rằng bạn cần một số loại kết hợp biểu thức chính quy (đoạn mã sau có trong Python 3):

import string
import re
import nltk

s = "I can't do this now, because I'm so tired.  Please give me some time."
l = nltk.word_tokenize(s)
ll = [x for x in l if not re.fullmatch('[' + string.punctuation + ']+', x)]
print(l)
print(ll)

Đầu ra:

['I', 'ca', "n't", 'do', 'this', 'now', ',', 'because', 'I', "'m", 'so', 'tired', '.', 'Please', 'give', 'me', 'some', 'time', '.']
['I', 'ca', "n't", 'do', 'this', 'now', 'because', 'I', "'m", 'so', 'tired', 'Please', 'give', 'me', 'some', 'time']

Nên hoạt động tốt trong hầu hết các trường hợp vì nó loại bỏ dấu chấm câu trong khi bảo quản các mã thông báo như "không", không thể lấy được từ các mã thông báo regex như wordpunct_tokenize.

Trân trọng hỏi, một từ là gì? Nếu giả định của bạn là một từ chỉ bao gồm các ký tự chữ cái, thì bạn đã sai vì các từ như can'tsẽ bị hủy thành từng mảnh (chẳng hạn như canvà t) nếu bạn xóa dấu chấm câu trước khi tokenisation , rất có thể ảnh hưởng tiêu cực đến chương trình của bạn.

Do đó, giải pháp là mã thông báo và sau đó xóa mã thông báo dấu chấm câu .

import string

from nltk.tokenize import word_tokenize

tokens = word_tokenize("I'm a southern salesman.")
# ['I', "'m", 'a', 'southern', 'salesman', '.']

tokens = list(filter(lambda token: token not in string.punctuation, tokens))
# ['I', "'m", 'a', 'southern', 'salesman']

... Và sau đó nếu bạn muốn, bạn có thể thay thế một số mã thông báo như 'mbằng am.

Tôi sử dụng mã này để xóa dấu chấm câu:

import nltk
def getTerms(sentences):
    tokens = nltk.word_tokenize(sentences)
    words = [w.lower() for w in tokens if w.isalnum()]
    print tokens
    print words

getTerms("hh, hh3h. wo shi 2 4 A . fdffdf. A&&B ")

Và nếu bạn muốn kiểm tra xem mã thông báo có phải là một từ tiếng Anh hợp lệ hay không, bạn có thể cần PyEnchant

Hướng dẫn:

 import enchant
 d = enchant.Dict("en_US")
 d.check("Hello")
 d.check("Helo")
 d.suggest("Helo")

Xóa dấu chấm câu (Nó sẽ xóa. Cũng như một phần của xử lý dấu câu bằng mã bên dưới)

        tbl = dict.fromkeys(i for i in range(sys.maxunicode) if unicodedata.category(chr(i)).startswith('P'))
        text_string = text_string.translate(tbl) #text_string don't have punctuation
        w = word_tokenize(text_string)  #now tokenize the string 

Đầu vào / đầu ra mẫu:

direct flat in oberoi esquire. 3 bhk 2195 saleable 1330 carpet. rate of 14500 final plus 1% floor rise. tax approx 9% only. flat cost with parking 3.89 cr plus taxes plus possession charger. middle floor. north door. arey and oberoi woods facing. 53% paymemt due. 1% transfer charge with buyer. total cost around 4.20 cr approx plus possession charges. rahul soni

['direct', 'flat', 'oberoi', 'esquire', '3', 'bhk', '2195', 'saleable', '1330', 'carpet', 'rate', '14500', 'final', 'plus', '1', 'floor', 'rise', 'tax', 'approx', '9', 'flat', 'cost', 'parking', '389', 'cr', 'plus', 'taxes', 'plus', 'possession', 'charger', 'middle', 'floor', 'north', 'door', 'arey', 'oberoi', 'woods', 'facing', '53', 'paymemt', 'due', '1', 'transfer', 'charge', 'buyer', 'total', 'cost', 'around', '420', 'cr', 'approx', 'plus', 'possession', 'charges', 'rahul', 'soni']

Chỉ cần thêm vào giải pháp bằng @rmalouf, điều này sẽ không bao gồm bất kỳ số nào vì \ w + tương đương với [a-zA-Z0-9_]

from nltk.tokenize import RegexpTokenizer
tokenizer = RegexpTokenizer(r'[a-zA-Z]')
tokenizer.tokenize('Eighty-seven miles to go, yet.  Onward!')

Bạn có thể làm điều đó trong một dòng mà không cần nltk (python 3.x).

import string
string_text= string_text.translate(str.maketrans('','',string.punctuation))