Thay thế các ký tự không phải ASCII bằng một khoảng trắng

Tôi cần thay thế tất cả các ký tự không phải ASCII (\ x00- \ x7F) bằng một khoảng trắng. Tôi ngạc nhiên rằng điều này không dễ dàng trong Python, trừ khi tôi thiếu một cái gì đó. Hàm sau chỉ đơn giản loại bỏ tất cả các ký tự không phải ASCII:

def remove_non_ascii_1(text):

    return ''.join(i for i in text if ord(i)<128)

Và cái này thay thế các ký tự không phải ASCII bằng số lượng khoảng trắng theo số lượng byte trong điểm mã ký tự (nghĩa là –ký tự được thay thế bằng 3 khoảng trắng):

def remove_non_ascii_2(text):

    return re.sub(r'[^\x00-\x7F]',' ', text)

Làm cách nào tôi có thể thay thế tất cả các ký tự không phải ASCII bằng một khoảng trắng?

Của các vô số các giống SO câu hỏi , không có địa chỉ nhân vật thay thế như phản đối để tước , và giải quyết bổ sung tất cả các ký tự khác ASCII không phải là một nhân vật cụ thể.

''.join()Biểu thức của bạn là lọc , loại bỏ mọi thứ không phải ASCII; thay vào đó, bạn có thể sử dụng biểu thức điều kiện:

return ''.join([i if ord(i) < 128 else ' ' for i in text])

Điều này xử lý từng ký tự một và vẫn sẽ sử dụng một khoảng trắng cho mỗi ký tự được thay thế.

Biểu thức thông thường của bạn chỉ nên thay thế các ký tự không phải ASCII liên tiếp bằng khoảng trắng:

re.sub(r'[^\x00-\x7F]+',' ', text)

Lưu ý +ở đó.

Đối với bạn, việc có được đại diện giống nhau nhất của chuỗi ban đầu của bạn, tôi khuyên bạn nên mô-đun unidecode :

from unidecode import unidecode
def remove_non_ascii(text):
    return unidecode(unicode(text, encoding = "utf-8"))

Sau đó, bạn có thể sử dụng nó trong một chuỗi:

remove_non_ascii("Ceñía")
Cenia

Để xử lý ký tự , sử dụng chuỗi Unicode:

PythonWin 3.3.0 (v3.3.0:bd8afb90ebf2, Sep 29 2012, 10:57:17) [MSC v.1600 64 bit (AMD64)] on win32.
>>> s='ABC马克def'
>>> import re
>>> re.sub(r'[^\x00-\x7f]',r' ',s)   # Each char is a Unicode codepoint.
'ABC  def'
>>> b = s.encode('utf8')
>>> re.sub(rb'[^\x00-\x7f]',rb' ',b) # Each char is a 3-byte UTF-8 sequence.
b'ABC      def'

Nhưng lưu ý rằng bạn vẫn sẽ gặp sự cố nếu chuỗi của bạn chứa các ký tự Unicode bị phân tách (ví dụ: ký tự riêng biệt và kết hợp các dấu trọng âm):

>>> s = 'mañana'
>>> len(s)
6
>>> import unicodedata as ud
>>> n=ud.normalize('NFD',s)
>>> n
'mañana'
>>> len(n)
7
>>> re.sub(r'[^\x00-\x7f]',r' ',s) # single codepoint
'ma ana'
>>> re.sub(r'[^\x00-\x7f]',r' ',n) # only combining mark replaced
'man ana'

Nếu ký tự thay thế có thể là '?' thay vì một khoảng trắng, sau đó tôi đề nghị result = text.encode('ascii', 'replace').decode():

"""Test the performance of different non-ASCII replacement methods."""


import re
from timeit import timeit


# 10_000 is typical in the project that I'm working on and most of the text
# is going to be non-ASCII.
text = 'Æ' * 10_000


print(timeit(
    """
result = ''.join([c if ord(c) < 128 else '?' for c in text])
    """,
    number=1000,
    globals=globals(),
))

print(timeit(
    """
result = text.encode('ascii', 'replace').decode()
    """,
    number=1000,
    globals=globals(),
))

Các kết quả:

0.7208260721400134
0.009975979187503592

Cái này thì sao?

def replace_trash(unicode_string):
     for i in range(0, len(unicode_string)):
         try:
             unicode_string[i].encode("ascii")
         except:
              #means it's non-ASCII
              unicode_string=unicode_string[i].replace(" ") #replacing it with a single space
     return unicode_string

Là một cách tiếp cận bản địa và hiệu quả, bạn không cần phải sử dụng ordhoặc bất kỳ vòng lặp nào trên các ký tự. Chỉ cần mã hóa asciivà bỏ qua các lỗi.

Sau đây sẽ chỉ loại bỏ các ký tự không phải ascii:

new_string = old_string.encode('ascii',errors='ignore')

Bây giờ nếu bạn muốn thay thế các ký tự đã xóa, chỉ cần làm như sau:

final_string = new_string + b' ' * (len(old_string) - len(new_string))

Có khả năng cho một câu hỏi khác, nhưng tôi đang cung cấp phiên bản trả lời @ Alvero của tôi (sử dụng unidecode). Tôi muốn thực hiện một dải "thông thường" trên các chuỗi của mình, tức là đầu và cuối chuỗi của tôi cho các ký tự khoảng trắng, sau đó chỉ thay thế các ký tự khoảng trắng khác bằng khoảng trắng "thông thường", nghĩa là

"Ceñíaㅤmañanaㅤㅤㅤㅤ"

đến

"Ceñía mañana"

,

def safely_stripped(s: str):
    return ' '.join(
        stripped for stripped in
        (bit.strip() for bit in
         ''.join((c if unidecode(c) else ' ') for c in s).strip().split())
        if stripped)

Trước tiên, chúng tôi thay thế tất cả các không gian unicode bằng một không gian thông thường (và nối lại nó một lần nữa),

''.join((c if unidecode(c) else ' ') for c in s)

Và sau đó chúng tôi chia lại lần nữa, với sự phân chia bình thường của python và tước từng "bit",

(bit.strip() for bit in s.split())

Và cuối cùng tham gia lại những lần đó, nhưng chỉ khi chuỗi vượt qua một ifbài kiểm tra,

' '.join(stripped for stripped in s if stripped)

Và với điều đó, safely_stripped('ㅤㅤㅤㅤCeñíaㅤmañanaㅤㅤㅤㅤ')trả lại chính xác 'Ceñía mañana'.