Cách xóa các từ dừng bằng nltk hoặc python

Vì vậy, tôi có một tập dữ liệu mà tôi muốn xóa các từ dừng sử dụng

stopwords.words('english')

Tôi đang đấu tranh làm cách nào để sử dụng điều này trong mã của mình để chỉ đơn giản là lấy ra những từ này. Tôi đã có một danh sách các từ trong tập dữ liệu này rồi, phần tôi đang đấu tranh là so sánh với danh sách này và loại bỏ các từ dừng. Bất kỳ trợ giúp được đánh giá cao.

from nltk.corpus import stopwords
# ...
filtered_words = [word for word in word_list if word not in stopwords.words('english')]

Bạn cũng có thể thực hiện một bộ khác biệt, ví dụ:

list(set(nltk.regexp_tokenize(sentence, pattern, gaps=True)) - set(nltk.corpus.stopwords.words('english')))

Tôi cho rằng bạn có một danh sách các từ (word_list) mà bạn muốn xóa từ dừng. Bạn có thể làm điều gì đó như sau:

filtered_word_list = word_list[:] #make a copy of the word_list
for word in word_list: # iterate over word_list
  if word in stopwords.words('english'): 
    filtered_word_list.remove(word) # remove word from filtered_word_list if it is a stopword

Để loại trừ tất cả các loại từ dừng bao gồm nltk từ dừng, bạn có thể làm như sau:

from stop_words import get_stop_words
from nltk.corpus import stopwords

stop_words = list(get_stop_words('en'))         #About 900 stopwords
nltk_words = list(stopwords.words('english')) #About 150 stopwords
stop_words.extend(nltk_words)

output = [w for w in word_list if not w in stop_words]

Có một gói mỡ trăn nhẹ rất đơn giản stop-wordschỉ dành cho mục đích này.

Fist cài đặt gói bằng cách sử dụng: pip install stop-words

Sau đó, bạn có thể xóa các từ của mình trong một dòng bằng cách sử dụng khả năng hiểu danh sách:

from stop_words import get_stop_words

filtered_words = [word for word in dataset if word not in get_stop_words('english')]

Gói này rất nhẹ để tải xuống (không giống như nltk), hoạt động cho cả Python 2và Python 3và nó có các từ dừng cho nhiều ngôn ngữ khác như:

    Arabic
    Bulgarian
    Catalan
    Czech
    Danish
    Dutch
    English
    Finnish
    French
    German
    Hungarian
    Indonesian
    Italian
    Norwegian
    Polish
    Portuguese
    Romanian
    Russian
    Spanish
    Swedish
    Turkish
    Ukrainian

Sử dụng thư viện textcleaner để xóa các từ dừng khỏi dữ liệu của bạn.

Theo liên kết này: https://yugantm.github.io/textcleaner/documentation.html#remove_stpwrds

Làm theo các bước sau để làm như vậy với thư viện này.

pip install textcleaner

Sau khi cài đặt:

import textcleaner as tc
data = tc.document(<file_name>) 
#you can also pass list of sentences to the document class constructor.
data.remove_stpwrds() #inplace is set to False by default

Sử dụng mã trên để loại bỏ các từ dừng.

bạn có thể sử dụng chức năng này, bạn nên lưu ý rằng bạn cần phải hạ thấp tất cả các từ

from nltk.corpus import stopwords

def remove_stopwords(word_list):
        processed_word_list = []
        for word in word_list:
            word = word.lower() # in case they arenet all lower cased
            if word not in stopwords.words("english"):
                processed_word_list.append(word)
        return processed_word_list

sử dụng bộ lọc :

from nltk.corpus import stopwords
# ...  
filtered_words = list(filter(lambda word: word not in stopwords.words('english'), word_list))

Đây là ý kiến ​​của tôi về vấn đề này, trong trường hợp bạn muốn ngay lập tức nhận được câu trả lời thành một chuỗi (thay vì danh sách các từ đã lọc):

STOPWORDS = set(stopwords.words('english'))
text =  ' '.join([word for word in text.split() if word not in STOPWORDS]) # delete stopwords from text

Trong trường hợp dữ liệu của bạn được lưu trữ dưới dạng a Pandas DataFrame, bạn có thể sử dụng remove_stopwordstừ textero sử dụng danh sách từ dừng NLTK theo mặc định .

import pandas as pd
import texthero as hero
df['text_without_stopwords'] = hero.remove_stopwords(df['text'])

from nltk.corpus import stopwords 

from nltk.tokenize import word_tokenize 

example_sent = "This is a sample sentence, showing off the stop words filtration."

  
stop_words = set(stopwords.words('english')) 
  
word_tokens = word_tokenize(example_sent) 
  
filtered_sentence = [w for w in word_tokens if not w in stop_words] 
  
filtered_sentence = [] 
  
for w in word_tokens: 
    if w not in stop_words: 
        filtered_sentence.append(w) 
  
print(word_tokens) 
print(filtered_sentence) 

   import sys
print ("enter the string from which you want to remove list of stop words")
userstring = input().split(" ")
list =["a","an","the","in"]
another_list = []
for x in userstring:
    if x not in list:           # comparing from the list and removing it
        another_list.append(x)  # it is also possible to use .remove
for x in another_list:
     print(x,end=' ')

   # 2) if you want to use .remove more preferred code
    import sys
    print ("enter the string from which you want to remove list of stop words")
    userstring = input().split(" ")
    list =["a","an","the","in"]
    another_list = []
    for x in userstring:
        if x in list:           
            userstring.remove(x)  
    for x in userstring:           
        print(x,end = ' ') 
    #the code will be like this