Làm thế nào để kiểm tra nếu một từ là một từ tiếng Anh với Python?

Tôi muốn kiểm tra chương trình Python nếu một từ có trong từ điển tiếng Anh.

Tôi tin rằng giao diện wordnet nltk có thể là cách để đi nhưng tôi không biết làm thế nào để sử dụng nó cho một nhiệm vụ đơn giản như vậy.

def is_english_word(word):
    pass # how to I implement is_english_word?

is_english_word(token.lower())

Trong tương lai, tôi có thể muốn kiểm tra xem dạng số ít của một từ có trong từ điển không (ví dụ: property -> property -> English word). Làm thế nào tôi đạt được điều đó?

Để có nhiều sức mạnh và linh hoạt hơn, hãy sử dụng một thư viện kiểm tra chính tả chuyên dụng như thế nào PyEnchant. Có một hướng dẫn , hoặc bạn có thể đi thẳng vào:

>>> import enchant
>>> d = enchant.Dict("en_US")
>>> d.check("Hello")
True
>>> d.check("Helo")
False
>>> d.suggest("Helo")
['He lo', 'He-lo', 'Hello', 'Helot', 'Help', 'Halo', 'Hell', 'Held', 'Helm', 'Hero', "He'll"]
>>>

PyEnchantđi kèm với một vài từ điển (en_GB, en_US, de_DE, fr_FR), nhưng có thể sử dụng bất kỳ từ điển nào của OpenOffice nếu bạn muốn có nhiều ngôn ngữ hơn.

Dường như có một thư viện số nhiều được gọi inflect, nhưng tôi không biết liệu nó có tốt không.

Nó sẽ không hoạt động tốt với WordNet, vì WordNet không chứa tất cả các từ tiếng Anh. Một khả năng khác dựa trên NLTK mà không có bùa mê là từ ngữ của NLTK

>>> from nltk.corpus import words
>>> "would" in words.words()
True
>>> "could" in words.words()
True
>>> "should" in words.words()
True
>>> "I" in words.words()
True
>>> "you" in words.words()
True

Sử dụng NLTK :

from nltk.corpus import wordnet

if not wordnet.synsets(word_to_test):
  #Not an English Word
else:
  #English Word

Bạn nên tham khảo bài viết này nếu bạn gặp khó khăn khi cài đặt wordnet hoặc muốn thử các phương pháp khác.

Sử dụng một bộ để lưu danh sách từ vì tìm kiếm chúng sẽ nhanh hơn:

with open("english_words.txt") as word_file:
    english_words = set(word.strip().lower() for word in word_file)

def is_english_word(word):
    return word.lower() in english_words

print is_english_word("ham")  # should be true if you have a good english_words.txt

Để trả lời phần thứ hai của câu hỏi, số nhiều sẽ có trong một danh sách từ tốt, nhưng nếu bạn muốn loại trừ cụ thể những thứ đó khỏi danh sách vì một số lý do, bạn thực sự có thể viết một hàm để xử lý nó. Nhưng các quy tắc số nhiều tiếng Anh đủ phức tạp để tôi chỉ đưa các số nhiều vào danh sách từ để bắt đầu.

Về nơi để tìm danh sách từ tiếng Anh, tôi đã tìm thấy một số chỉ bằng cách "danh sách từ tiếng Anh" của Google. Đây là một: http://www.sil.org/linguistic/wordlists/english/wordlist/wordsEn.txt Bạn có thể Google cho tiếng Anh hoặc tiếng Anh Mỹ nếu bạn muốn cụ thể một trong những phương ngữ đó.

Để có giải pháp dựa trên NLTK nhanh hơn, bạn có thể băm tập hợp các từ để tránh tìm kiếm tuyến tính.

from nltk.corpus import words as nltk_words
def is_english_word(word):
    # creation of this dictionary would be done outside of 
    #     the function because you only need to do it once.
    dictionary = dict.fromkeys(nltk_words.words(), None)
    try:
        x = dictionary[word]
        return True
    except KeyError:
        return False

Tôi thấy rằng có 3 giải pháp dựa trên gói để giải quyết vấn đề. Chúng là pyenchant, wordnet và corpus (tự xác định hoặc từ ntlk). Pyenchant không thể cài đặt dễ dàng trong win64 với py3 . Wordnet không hoạt động tốt vì nó không hoàn thành. Vì vậy, đối với tôi, tôi chọn giải pháp được trả lời bởi @Sadik và sử dụng 'set (words.words ())' để tăng tốc.

Đầu tiên:

pip3 install nltk
python3

import nltk
nltk.download('words')

Sau đó:

from nltk.corpus import words
setofwords = set(words.words())

print("hello" in setofwords)
>>True

Với SpellChecker pyEnchant.checker:

from enchant.checker import SpellChecker

def is_in_english(quote):
    d = SpellChecker("en_US")
    d.set_text(quote)
    errors = [err.word for err in d]
    return False if ((len(errors) > 4) or len(quote.split()) < 3) else True

print(is_in_english('“办理美国加州州立大学圣贝纳迪诺分校高仿成绩单Q/V2166384296加州州立大学圣贝纳迪诺分校学历学位认证'))
print(is_in_english('“Two things are infinite: the universe and human stupidity; and I\'m not sure about the universe.”'))

> False
> True

Đối với cách tiếp cận web ngữ nghĩa, bạn có thể chạy truy vấn sparql đối với WordNet ở định dạng RDF . Về cơ bản chỉ cần sử dụng mô-đun urllib để đưa ra yêu cầu GET và trả về kết quả ở định dạng JSON, phân tích cú pháp bằng mô-đun python 'json'. Nếu đó không phải là từ tiếng Anh, bạn sẽ không nhận được kết quả.

Như một ý tưởng khác, bạn có thể truy vấn API của Wiktionary .

Dành cho tất cả người dùng Linux / Unix

Nếu hệ điều hành của bạn sử dụng nhân Linux, có một cách đơn giản để lấy tất cả các từ trong từ điển Anh / Mỹ. Trong thư mục /usr/share/dictbạn có một wordstập tin. Ngoài ra còn có một cụ thể hơn american-englishvà british-englishtập tin. Chúng chứa tất cả các từ trong ngôn ngữ cụ thể đó. Bạn có thể truy cập ngôn ngữ này trong mọi ngôn ngữ lập trình, đó là lý do tại sao tôi nghĩ bạn có thể muốn biết về điều này.

Bây giờ, đối với người dùng cụ thể python, mã python bên dưới nên gán các từ danh sách để có giá trị của mỗi từ đơn:

import re
file = open("/usr/share/dict/words", "r")
words = re.sub("[^\w]", " ",  file.read()).split()

def is_word(word):
    return word.lower() in words

is_word("tarts") ## Returns true
is_word("jwiefjiojrfiorj") ## Returns False

Hi vọng điêu nay co ich!!!