Xử lý chuỗi thoát trong một chuỗi bằng Python

Đôi khi khi tôi nhận đầu vào từ một tệp hoặc từ người dùng, tôi nhận được một chuỗi có các chuỗi thoát trong đó. Tôi muốn xử lý các chuỗi thoát theo cách giống như cách Python xử lý các chuỗi thoát trong chuỗi ký tự .

Ví dụ, giả sử myStringđược định nghĩa là:

>>> myString = "spam\\neggs"
>>> print(myString)
spam\neggs

Tôi muốn một hàm (tôi sẽ gọi nó process) thực hiện điều này:

>>> print(process(myString))
spam
eggs

Điều quan trọng là hàm có thể xử lý tất cả các chuỗi thoát trong Python (được liệt kê trong bảng trong liên kết ở trên).

Python có chức năng để làm điều này không?

Điều chính xác cần làm là sử dụng mã 'string-Escape' để giải mã chuỗi.

>>> myString = "spam\\neggs"
>>> decoded_string = bytes(myString, "utf-8").decode("unicode_escape") # python3 
>>> decoded_string = myString.decode('string_escape') # python2
>>> print(decoded_string)
spam
eggs

Không sử dụng AST hoặc eval. Sử dụng codec chuỗi an toàn hơn nhiều.

unicode_escape nói chung không hoạt động

Nó chỉ ra rằng giải pháp string_escapehoặc unicode_escapegiải pháp không hoạt động nói chung - đặc biệt, nó không hoạt động khi có Unicode thực tế.

Nếu bạn có thể chắc chắn rằng mọi ký tự không phải ASCII sẽ được thoát (và hãy nhớ rằng bất kỳ thứ gì ngoài 128 ký tự đầu tiên đều không phải ASCII), unicode_escapesẽ thực hiện điều phù hợp với bạn. Nhưng nếu có bất kỳ ký tự không phải ASCII theo nghĩa đen nào đã có trong chuỗi của bạn, mọi thứ sẽ trở nên sai lầm.

unicode_escapevề cơ bản được thiết kế để chuyển đổi byte thành văn bản Unicode. Nhưng ở nhiều nơi - ví dụ, mã nguồn Python - dữ liệu nguồn đã là văn bản Unicode.

Cách duy nhất điều này có thể hoạt động chính xác là nếu bạn mã hóa văn bản thành byte trước. UTF-8 là mã hóa hợp lý cho tất cả văn bản, vì vậy nó sẽ hoạt động, phải không?

Các ví dụ sau đây là trong Python 3, để các ký tự chuỗi rõ ràng hơn, nhưng cùng một vấn đề tồn tại với các biểu hiện hơi khác nhau trên cả Python 2 và 3.

>>> s = 'naïve \\t test'
>>> print(s.encode('utf-8').decode('unicode_escape'))
naïve   test

Chà, sai rồi.

Cách mới được đề xuất để sử dụng codec giải mã văn bản thành văn bản là gọi codecs.decodetrực tiếp. cái đó có giúp ích không?

>>> import codecs
>>> print(codecs.decode(s, 'unicode_escape'))
naïve   test

Không có gì. (Ngoài ra, ở trên là một UnicodeError trên Python 2.)

Các unicode_escapecodec, mặc dù tên của nó, hóa ra giả định rằng tất cả các byte phi ASCII đang trong Latin-1 (ISO-8859-1) mã hóa. Vì vậy, bạn sẽ phải làm như thế này:

>>> print(s.encode('latin-1').decode('unicode_escape'))
naïve    test

Nhưng điều đó thật kinh khủng. Điều này giới hạn bạn trong 256 ký tự Latinh-1, như thể Unicode chưa bao giờ được phát minh!

>>> print('Ernő \\t Rubik'.encode('latin-1').decode('unicode_escape'))
UnicodeEncodeError: 'latin-1' codec can't encode character '\u0151'
in position 3: ordinal not in range(256)

Thêm một biểu thức chính quy để giải quyết vấn đề

(Đáng ngạc nhiên là bây giờ chúng ta không có hai vấn đề.)

Những gì chúng ta cần làm là chỉ áp dụng unicode_escapebộ giải mã cho những thứ mà chúng ta chắc chắn là văn bản ASCII. Đặc biệt, chúng tôi có thể đảm bảo chỉ áp dụng nó cho các chuỗi thoát Python hợp lệ, được đảm bảo là văn bản ASCII.

Kế hoạch là, chúng ta sẽ tìm các chuỗi thoát bằng cách sử dụng một biểu thức chính quy và sử dụng một hàm làm đối số re.subđể thay thế chúng bằng giá trị không thoát của chúng.

import re
import codecs

ESCAPE_SEQUENCE_RE = re.compile(r'''
    ( \\U........      # 8-digit hex escapes
    | \\u....          # 4-digit hex escapes
    | \\x..            # 2-digit hex escapes
    | \\[0-7]{1,3}     # Octal escapes
    | \\N\{[^}]+\}     # Unicode characters by name
    | \\[\\'"abfnrtv]  # Single-character escapes
    )''', re.UNICODE | re.VERBOSE)

def decode_escapes(s):
    def decode_match(match):
        return codecs.decode(match.group(0), 'unicode-escape')

    return ESCAPE_SEQUENCE_RE.sub(decode_match, s)

Và với điều đó:

>>> print(decode_escapes('Ernő \\t Rubik'))
Ernő     Rubik

Câu trả lời thực sự chính xác và thuận tiện cho python 3:

>>> import codecs
>>> myString = "spam\\neggs"
>>> print(codecs.escape_decode(bytes(myString, "utf-8"))[0].decode("utf-8"))
spam
eggs
>>> myString = "naïve \\t test"
>>> print(codecs.escape_decode(bytes(myString, "utf-8"))[0].decode("utf-8"))
naïve    test

Thông tin chi tiết về codecs.escape_decode:

• codecs.escape_decode là một bộ giải mã byte-to-byte
• codecs.escape_decodegiải mã chuỗi thoát ascii, chẳng hạn như: b"\\n"-> b"\n", b"\\xce"-> b"\xce".
• codecs.escape_decode không quan tâm hoặc không cần biết về mã hóa của đối tượng byte, nhưng mã hóa của các byte thoát phải khớp với mã hóa của phần còn lại của đối tượng.

Lý lịch:

• @rspeer là đúng: unicode_escapelà giải pháp không chính xác cho python3. Điều này là do unicode_escapegiải mã các byte thoát, sau đó giải mã các byte thành chuỗi unicode, nhưng không nhận được thông tin về codec nào sẽ sử dụng cho thao tác thứ hai.
• @Jerub là đúng: tránh AST hoặc eval.
• Lần đầu tiên tôi phát hiện ra codecs.escape_decodetừ câu trả lời này cho "làm cách nào để sử dụng .decode ('string-Escape') trong Python3?" . Như câu trả lời đó nêu rõ, chức năng đó hiện không được ghi lại cho python 3.

Các ast.literal_evalchức năng đến gần, nhưng nó sẽ mong đợi các chuỗi được trích dẫn đúng đầu tiên.

Tất nhiên, việc giải thích dấu gạch chéo ngược của Python phụ thuộc vào cách chuỗi được trích dẫn ( ""vs r""vs u"", dấu ngoặc kép, v.v.), vì vậy bạn có thể muốn đưa đầu vào của người dùng trong dấu ngoặc kép phù hợp và chuyển đến literal_eval. Đặt nó trong dấu ngoặc kép cũng sẽ ngăn không cho literal_evaltrả về một số, bộ giá trị, từ điển, v.v.

Mọi thứ vẫn có thể trở nên phức tạp nếu người dùng nhập các dấu ngoặc kép chưa được trích dẫn của loại mà bạn định quấn quanh chuỗi.

Đây là một cách làm không tốt, nhưng nó đã hiệu quả với tôi khi cố gắng diễn giải các số bát phân thoát được truyền trong một đối số chuỗi.

input_string = eval('b"' + sys.argv[1] + '"')

Điều đáng nói là có sự khác biệt giữa eval và ast.literal_eval (eval không an toàn hơn). Xem Sử dụng eval () của python so với ast.literal_eval ()?

Mã bên dưới sẽ hoạt động cho \ n được yêu cầu hiển thị trên chuỗi.

import string

our_str = 'The String is \\n, \\n and \\n!'
new_str = string.replace(our_str, '/\\n', '/\n', 1)
print(new_str)