Loại bỏ các ký tự không in được khỏi một chuỗi trong python

Tôi sử dụng để chạy

$s =~ s/[^[:print:]]//g;

trên Perl để loại bỏ các ký tự không in được.

Trong Python không có các lớp regex POSIX và tôi không thể viết [: print:] có nghĩa là tôi muốn. Tôi không biết cách nào trong Python để phát hiện xem một ký tự có thể in được hay không.

Bạn sẽ làm gì?

CHỈNH SỬA: Nó cũng phải hỗ trợ các ký tự Unicode. Cách string.printable sẽ loại bỏ chúng ra khỏi đầu ra một cách vui vẻ. curses.ascii.isprint sẽ trả về false cho bất kỳ ký tự unicode nào.

Thật không may, việc lặp lại qua các chuỗi khá chậm trong Python. Biểu thức chính quy nhanh hơn một bậc lớn hơn đối với loại điều này. Bạn chỉ cần xây dựng lớp nhân vật cho mình. Các unicodedata Module này là khá hữu ích cho việc này, đặc biệt là unicodedata.category () chức năng. Xem Cơ sở dữ liệu ký tự Unicode để biết mô tả về các loại.

import unicodedata, re, itertools, sys

all_chars = (chr(i) for i in range(sys.maxunicode))
categories = {'Cc'}
control_chars = ''.join(c for c in all_chars if unicodedata.category(c) in categories)
# or equivalently and much more efficiently
control_chars = ''.join(map(chr, itertools.chain(range(0x00,0x20), range(0x7f,0xa0))))

control_char_re = re.compile('[%s]' % re.escape(control_chars))

def remove_control_chars(s):
    return control_char_re.sub('', s)

Đối với Python2

import unicodedata, re, sys

all_chars = (unichr(i) for i in xrange(sys.maxunicode))
categories = {'Cc'}
control_chars = ''.join(c for c in all_chars if unicodedata.category(c) in categories)
# or equivalently and much more efficiently
control_chars = ''.join(map(unichr, range(0x00,0x20) + range(0x7f,0xa0)))

control_char_re = re.compile('[%s]' % re.escape(control_chars))

def remove_control_chars(s):
    return control_char_re.sub('', s)

Đối với một số trường hợp sử dụng, các danh mục bổ sung (ví dụ: tất cả từ nhóm điều khiển có thể thích hợp hơn, mặc dù điều này có thể làm chậm thời gian xử lý và tăng mức sử dụng bộ nhớ đáng kể. Số ký tự trên mỗi danh mục:

• Cc (kiểm soát): 65
• Cf (định dạng): 161
• Cs (đại diện): 2048
• Co (sử dụng riêng): 137468
• Cn (chưa giao): 836601

Chỉnh sửa Thêm đề xuất từ ​​các nhận xét.

Theo như tôi biết, phương pháp hiệu quả nhất sẽ là:

import string

filtered_string = filter(lambda x: x in string.printable, myStr)

Bạn có thể thử thiết lập bộ lọc bằng unicodedata.category()chức năng:

import unicodedata
printable = {'Lu', 'Ll'}
def filter_non_printable(str):
  return ''.join(c for c in str if unicodedata.category(c) in printable)

Xem Bảng 4-9 trên trang 175 trong thuộc tính ký tự cơ sở dữ liệu Unicode để biết các danh mục có sẵn

Trong Python 3,

def filter_nonprintable(text):
    import itertools
    # Use characters of control category
    nonprintable = itertools.chain(range(0x00,0x20),range(0x7f,0xa0))
    # Use translate to remove all non-printable characters
    return text.translate({character:None for character in nonprintable})

Xem bài đăng StackOverflow này về cách xóa dấu câu để biết cách .translate () so sánh với regex & .replace ()

Các phạm vi có thể được tạo nonprintable = (ord(c) for c in (chr(i) for i in range(sys.maxunicode)) if unicodedata.category(c)=='Cc')bằng cách sử dụng các danh mục cơ sở dữ liệu ký tự Unicode như được hiển thị bởi @Ants Aasma.

Phần sau sẽ hoạt động với đầu vào Unicode và khá nhanh ...

import sys

# build a table mapping all non-printable characters to None
NOPRINT_TRANS_TABLE = {
    i: None for i in range(0, sys.maxunicode + 1) if not chr(i).isprintable()
}

def make_printable(s):
    """Replace non-printable characters in a string."""

    # the translate method on str removes characters
    # that map to None from the string
    return s.translate(NOPRINT_TRANS_TABLE)


assert make_printable('Café') == 'Café'
assert make_printable('\x00\x11Hello') == 'Hello'
assert make_printable('') == ''

Thử nghiệm của riêng tôi cho thấy phương pháp này nhanh hơn các hàm lặp qua chuỗi và trả về kết quả bằng cách sử dụng str.join.

Hàm này sử dụng khả năng hiểu danh sách và str.join, vì vậy nó chạy trong thời gian tuyến tính thay vì O (n ^ 2):

from curses.ascii import isprint

def printable(input):
    return ''.join(char for char in input if isprint(char))

Tuy nhiên, một tùy chọn khác trong python 3:

re.sub(f'[^{re.escape(string.printable)}]', '', my_string)

Điều tốt nhất tôi nghĩ ra bây giờ là (nhờ python-izers ở trên)

def filter_non_printable(str):
  return ''.join([c for c in str if ord(c) > 31 or ord(c) == 9])

Đây là cách duy nhất tôi phát hiện ra rằng hoạt động với các ký tự / chuỗi Unicode

Có lựa chọn nào tốt hơn không?

Cái bên dưới hoạt động nhanh hơn cái khác ở trên. Hãy xem

''.join([x if x in string.printable else '' for x in Str])

Trong Python không có lớp regex POSIX

Có khi sử dụng regexthư viện: https://pypi.org/project/regex/

Nó được duy trì tốt và hỗ trợ Unicode regex, Posix regex và nhiều hơn nữa. Cách sử dụng (chữ ký phương thức) rất giống với Python re.

Từ tài liệu:

[[:alpha:]]; [[:^alpha:]]

Các lớp ký tự POSIX được hỗ trợ. Chúng thường được coi là một dạng thay thế của\p{...} .

(Tôi không liên kết, chỉ là một người dùng.)

Dựa trên câu trả lời của @ Ber, tôi khuyên bạn chỉ nên xóa các ký tự điều khiển như được xác định trong các danh mục cơ sở dữ liệu ký tự Unicode :

import unicodedata
def filter_non_printable(s):
    return ''.join(c for c in s if not unicodedata.category(c).startswith('C'))

Để loại bỏ 'khoảng trắng',

import re
t = """
\n\t<p>&nbsp;</p>\n\t<p>&nbsp;</p>\n\t<p>&nbsp;</p>\n\t<p>&nbsp;</p>\n\t<p>
"""
pat = re.compile(r'[\t\n]')
print(pat.sub("", t))

Phỏng theo câu trả lời của Ants Aasma và shawnrad :

nonprintable = set(map(chr, list(range(0,32)) + list(range(127,160))))
ord_dict = {ord(character):None for character in nonprintable}
def filter_nonprintable(text):
    return text.translate(ord_dict)

#use
str = "this is my string"
str = filter_nonprintable(str)
print(str)

đã thử nghiệm trên Python 3.7.7