Cách tốt nhất để loại bỏ các dấu trong chuỗi unicode Python là gì?

Tôi có một chuỗi Unicode bằng Python và tôi muốn xóa tất cả các dấu (dấu phụ).

Tôi tìm thấy trên Web một cách thanh lịch để làm điều này trong Java:

1. chuyển đổi chuỗi Unicode thành dạng chuẩn hóa dài của nó (với một ký tự riêng cho các chữ cái và dấu phụ)
2. xóa tất cả các ký tự có loại Unicode là "dấu phụ".

Tôi có cần phải cài đặt một thư viện như pyICU hay điều này có thể chỉ với thư viện chuẩn python? Còn trăn 3 thì sao?

Lưu ý quan trọng: Tôi muốn tránh mã có ánh xạ rõ ràng từ các ký tự có dấu sang đối tác không có dấu của chúng.

Unidecode là câu trả lời chính xác cho điều này. Nó chuyển ngữ bất kỳ chuỗi unicode thành biểu diễn gần nhất có thể có trong văn bản ascii.

Thí dụ:

accented_string = u'Málaga'
# accented_string is of type 'unicode'
import unidecode
unaccented_string = unidecode.unidecode(accented_string)
# unaccented_string contains 'Malaga'and is of type 'str'

Còn cái này thì sao:

import unicodedata
def strip_accents(s):
   return ''.join(c for c in unicodedata.normalize('NFD', s)
                  if unicodedata.category(c) != 'Mn')

Điều này cũng hoạt động trên các chữ cái Hy Lạp:

>>> strip_accents(u"A \u00c0 \u0394 \u038E")
u'A A \u0394 \u03a5'
>>> 

Các loại nhân vật "Mn" là viết tắt của Nonspacing_Mark, mà là tương tự như unicodedata.combining trong câu trả lời của MiniQuark (Tôi không nghĩ unicodedata.combining, nhưng nó có lẽ là giải pháp tốt hơn, vì nó rõ ràng hơn).

Và hãy nhớ, những thao tác này có thể làm thay đổi đáng kể ý nghĩa của văn bản. Dấu, Umlauts, vv không phải là "trang trí".

Tôi chỉ tìm thấy câu trả lời này trên Web:

import unicodedata

def remove_accents(input_str):
    nfkd_form = unicodedata.normalize('NFKD', input_str)
    only_ascii = nfkd_form.encode('ASCII', 'ignore')
    return only_ascii

Nó hoạt động tốt (ví dụ như tiếng Pháp), nhưng tôi nghĩ rằng bước thứ hai (loại bỏ dấu) có thể được xử lý tốt hơn so với việc bỏ các ký tự không phải ASCII, vì điều này sẽ thất bại đối với một số ngôn ngữ (ví dụ tiếng Hy Lạp). Giải pháp tốt nhất có lẽ là loại bỏ rõ ràng các ký tự unicode được gắn thẻ là dấu phụ.

Chỉnh sửa : đây là mẹo:

import unicodedata

def remove_accents(input_str):
    nfkd_form = unicodedata.normalize('NFKD', input_str)
    return u"".join([c for c in nfkd_form if not unicodedata.combining(c)])

unicodedata.combining(c)sẽ trả về true nếu ký tự ccó thể được kết hợp với ký tự trước, điều đó chủ yếu là nếu đó là dấu phụ.

Chỉnh sửa 2 : remove_accentsmong đợi một chuỗi unicode , không phải là một chuỗi byte. Nếu bạn có một chuỗi byte, thì bạn phải giải mã nó thành một chuỗi unicode như thế này:

encoding = "utf-8" # or iso-8859-15, or cp1252, or whatever encoding you use
byte_string = b"café"  # or simply "café" before python 3.
unicode_string = byte_string.decode(encoding)

Trên thực tế tôi làm việc trên python 2.6, 2.7 và 3.4 tương thích với dự án và tôi phải tạo ID từ các mục nhập của người dùng miễn phí.

Nhờ bạn, tôi đã tạo ra chức năng này hoạt động kỳ diệu.

import re
import unicodedata

def strip_accents(text):
    """
    Strip accents from input String.

    :param text: The input string.
    :type text: String.

    :returns: The processed String.
    :rtype: String.
    """
    try:
        text = unicode(text, 'utf-8')
    except (TypeError, NameError): # unicode is a default on python 3 
        pass
    text = unicodedata.normalize('NFD', text)
    text = text.encode('ascii', 'ignore')
    text = text.decode("utf-8")
    return str(text)

def text_to_id(text):
    """
    Convert input text to id.

    :param text: The input string.
    :type text: String.

    :returns: The processed String.
    :rtype: String.
    """
    text = strip_accents(text.lower())
    text = re.sub('[ ]+', '_', text)
    text = re.sub('[^0-9a-zA-Z_-]', '', text)
    return text

kết quả:

text_to_id("Montréal, über, 12.89, Mère, Françoise, noël, 889")
>>> 'montreal_uber_1289_mere_francoise_noel_889'

Điều này không chỉ xử lý các dấu, mà còn "nét" (như trong ø, v.v.):

import unicodedata as ud

def rmdiacritics(char):
    '''
    Return the base character of char, by "removing" any
    diacritics like accents or curls and strokes and the like.
    '''
    desc = ud.name(char)
    cutoff = desc.find(' WITH ')
    if cutoff != -1:
        desc = desc[:cutoff]
        try:
            char = ud.lookup(desc)
        except KeyError:
            pass  # removing "WITH ..." produced an invalid name
    return char

Đây là cách thanh lịch nhất mà tôi có thể nghĩ đến (và nó đã được alexis đề cập trong một bình luận trên trang này), mặc dù tôi không nghĩ rằng nó thực sự rất thanh lịch. Trên thực tế, đó là một vụ hack nhiều hơn, như đã chỉ ra trong các bình luận, vì tên Unicode là - thực sự chỉ là tên, chúng không đảm bảo tính nhất quán hay bất cứ điều gì.

Vẫn còn những chữ cái đặc biệt không được xử lý bởi điều này, chẳng hạn như chữ cái bị lật và đảo ngược, vì tên unicode của chúng không chứa 'VỚI'. Nó phụ thuộc vào những gì bạn muốn làm anyway. Đôi khi tôi cần tước giọng để đạt được thứ tự sắp xếp từ điển.

EDIT LƯU Ý:

Đề xuất kết hợp từ các nhận xét (xử lý lỗi tra cứu, mã Python-3).

Đáp lại câu trả lời của @ MiniQuark:

Tôi đã cố đọc trong một tệp csv là một nửa tiếng Pháp (có dấu) và một số chuỗi cuối cùng sẽ trở thành số nguyên và số float. Để thử nghiệm, tôi đã tạo một test.txttệp trông như thế này:

Montréal, über, 12,89, Mère, Françoir, noël, 889

Tôi đã phải bao gồm các dòng 2và 3để làm cho nó hoạt động (mà tôi tìm thấy trong một vé trăn), cũng như kết hợp nhận xét của @ Jabba:

import sys 
reload(sys) 
sys.setdefaultencoding("utf-8")
import csv
import unicodedata

def remove_accents(input_str):
    nkfd_form = unicodedata.normalize('NFKD', unicode(input_str))
    return u"".join([c for c in nkfd_form if not unicodedata.combining(c)])

with open('test.txt') as f:
    read = csv.reader(f)
    for row in read:
        for element in row:
            print remove_accents(element)

Kết quả:

Montreal
uber
12.89
Mere
Francoise
noel
889

(Lưu ý: Tôi đang dùng Mac OS X 10.8.4 và sử dụng Python 2.7.3)

gensim.utils.deaccent (văn bản) từ Gensim - mô hình chủ đề cho con người :

'Sef chomutovskych komunistu dostal postou bily prasek'

Một giải pháp khác là unidecode .

Lưu ý rằng giải pháp được đề xuất với unicodingata thường loại bỏ các dấu chỉ trong một số ký tự (ví dụ: nó biến 'ł'thành '', thay vì thành 'l').

Một số ngôn ngữ đã kết hợp dấu phụ như chữ cái ngôn ngữ và dấu phụ dấu trọng âm để chỉ định dấu trọng âm.

Tôi nghĩ sẽ an toàn hơn khi chỉ định rõ ràng loại diactrics nào bạn muốn tước:

def strip_accents(string, accents=('COMBINING ACUTE ACCENT', 'COMBINING GRAVE ACCENT', 'COMBINING TILDE')):
    accents = set(map(unicodedata.lookup, accents))
    chars = [c for c in unicodedata.normalize('NFD', string) if c not in accents]
    return unicodedata.normalize('NFC', ''.join(chars))