Chuyển đổi byte thành một chuỗi

Tôi đang sử dụng mã này để nhận đầu ra tiêu chuẩn từ một chương trình bên ngoài:

>>> from subprocess import *
>>> command_stdout = Popen(['ls', '-l'], stdout=PIPE).communicate()[0]

Phương thức truyền thông () trả về một mảng byte:

>>> command_stdout
b'total 0\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2\n'

Tuy nhiên, tôi muốn làm việc với đầu ra như một chuỗi Python bình thường. Để tôi có thể in nó như thế này:

>>> print(command_stdout)
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2

Tôi nghĩ đó là phương thức binascii.b2a_qp () để làm gì, nhưng khi tôi thử nó, tôi lại nhận được mảng byte tương tự:

>>> binascii.b2a_qp(command_stdout)
b'total 0\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2\n'

Làm cách nào để chuyển đổi giá trị byte trở lại chuỗi? Ý tôi là, sử dụng "pin" thay vì làm thủ công. Và tôi muốn nó ổn với Python 3.

Bạn cần giải mã đối tượng byte để tạo chuỗi:

>>> b"abcde"
b'abcde'

# utf-8 is used here because it is a very common encoding, but you
# need to use the encoding your data is actually in.
>>> b"abcde".decode("utf-8") 
'abcde'

Bạn cần giải mã chuỗi byte và chuyển nó thành chuỗi ký tự (Unicode).

Trên Python 2

encoding = 'utf-8'
'hello'.decode(encoding)

hoặc là

unicode('hello', encoding)

Trên Python 3

encoding = 'utf-8'
b'hello'.decode(encoding)

hoặc là

str(b'hello', encoding)

Tôi nghĩ rằng cách này là dễ dàng:

>>> bytes_data = [112, 52, 52]
>>> "".join(map(chr, bytes_data))
'p44'

Nếu bạn không biết mã hóa, thì để đọc đầu vào nhị phân thành chuỗi theo cách tương thích Python 3 và Python 2, hãy sử dụng mã hóa MS-DOS CP437 cổ đại :

PY3K = sys.version_info >= (3, 0)

lines = []
for line in stream:
    if not PY3K:
        lines.append(line)
    else:
        lines.append(line.decode('cp437'))

Vì mã hóa là không xác định, hy vọng các ký hiệu không phải tiếng Anh sẽ dịch sang các ký tự của cp437(các ký tự tiếng Anh không được dịch, vì chúng khớp với hầu hết các mã hóa byte đơn và UTF-8).

Giải mã đầu vào nhị phân tùy ý cho UTF-8 là không an toàn, bởi vì bạn có thể nhận được điều này:

>>> b'\x00\x01\xffsd'.decode('utf-8')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 2: invalid
start byte

Điều tương tự cũng áp dụng cho latin-1, điều phổ biến (mặc định?) Cho Python 2. Xem các điểm còn thiếu trong Bố cục Codepage - đó là nơi Python bị nghẹt thở ordinal not in range.

CẬP NHẬT 20150604 : Có tin đồn rằng Python 3 có surrogateescapechiến lược lỗi để mã hóa công cụ thành dữ liệu nhị phân mà không mất dữ liệu và sự cố, nhưng nó cần kiểm tra chuyển đổi [binary] -> [str] -> [binary], để xác thực cả hiệu suất và độ tin cậy.

CẬP NHẬT 20170116 : Nhờ bình luận của Nearoo - cũng có khả năng gạch chéo thoát tất cả các byte không xác định bằng backslashreplacetrình xử lý lỗi. Điều đó chỉ hoạt động với Python 3, vì vậy ngay cả với cách giải quyết này, bạn vẫn sẽ nhận được đầu ra không nhất quán từ các phiên bản Python khác nhau:

PY3K = sys.version_info >= (3, 0)

lines = []
for line in stream:
    if not PY3K:
        lines.append(line)
    else:
        lines.append(line.decode('utf-8', 'backslashreplace'))

Xem Hỗ trợ Unicode của Python để biết chi tiết.

CẬP NHẬT 20170119 : Tôi đã quyết định triển khai giải mã thoát dấu gạch chéo hoạt động cho cả Python 2 và Python 3. Nó sẽ chậm hơn cp437giải pháp, nhưng nó sẽ tạo ra kết quả giống hệt nhau trên mọi phiên bản Python.

# --- preparation

import codecs

def slashescape(err):
    """ codecs error handler. err is UnicodeDecode instance. return
    a tuple with a replacement for the unencodable part of the input
    and a position where encoding should continue"""
    #print err, dir(err), err.start, err.end, err.object[:err.start]
    thebyte = err.object[err.start:err.end]
    repl = u'\\x'+hex(ord(thebyte))[2:]
    return (repl, err.end)

codecs.register_error('slashescape', slashescape)

# --- processing

stream = [b'\x80abc']

lines = []
for line in stream:
    lines.append(line.decode('utf-8', 'slashescape'))

Trong Python 3 , mã hóa mặc định là "utf-8", vì vậy bạn có thể trực tiếp sử dụng:

b'hello'.decode()

tương đương với

b'hello'.decode(encoding="utf-8")

Mặt khác, trong Python 2 , mã hóa mặc định thành mã hóa chuỗi mặc định. Vì vậy, bạn nên sử dụng:

b'hello'.decode(encoding)

nơi encodinglà mã hóa mà bạn muốn.

Lưu ý: hỗ trợ cho các đối số từ khóa đã được thêm vào Python 2.7.

Tôi nghĩ rằng bạn thực sự muốn điều này:

>>> from subprocess import *
>>> command_stdout = Popen(['ls', '-l'], stdout=PIPE).communicate()[0]
>>> command_text = command_stdout.decode(encoding='windows-1252')

Câu trả lời của Aaron là đúng, ngoại trừ việc bạn cần phải biết mà mã hóa để sử dụng. Và tôi tin rằng Windows sử dụng 'windows-1252'. Sẽ chỉ có vấn đề nếu bạn có một số ký tự bất thường (không phải ASCII) trong nội dung của mình, nhưng sau đó nó sẽ tạo ra sự khác biệt.

Nhân tiện, thực tế là nó có vấn đề là lý do khiến Python chuyển sang sử dụng hai loại khác nhau cho dữ liệu nhị phân và dữ liệu văn bản: nó không thể chuyển đổi kỳ diệu giữa chúng, bởi vì nó không biết mã hóa trừ khi bạn nói với nó! Cách duy nhất BẠN sẽ biết là đọc tài liệu Windows (hoặc đọc tại đây).

Đặt Universal_newlines thành True, nghĩa là

command_stdout = Popen(['ls', '-l'], stdout=PIPE, universal_newlines=True).communicate()[0]

Trong khi câu trả lời của @Aaron Maenpaa chỉ hoạt động, một người dùng gần đây đã hỏi :

Có cách nào đơn giản hơn không? 'fhand.read (). giải mã ("ASCII")' [...] Quá dài!

Bạn có thể dùng:

command_stdout.decode()

decode()có một đối số chuẩn :

codecs.decode(obj, encoding='utf-8', errors='strict')

Để diễn giải một chuỗi byte dưới dạng văn bản, bạn phải biết mã hóa ký tự tương ứng:

unicode_text = bytestring.decode(character_encoding)

Thí dụ:

>>> b'\xc2\xb5'.decode('utf-8')
'µ'

lslệnh có thể tạo đầu ra không thể hiểu là văn bản. Tên tệp trên Unix có thể là bất kỳ chuỗi byte nào ngoại trừ dấu gạch chéo b'/'và 0 b'\0':

>>> open(bytes(range(0x100)).translate(None, b'\0/'), 'w').close()

Cố gắng giải mã súp byte như vậy bằng cách sử dụng mã hóa utf-8 tăng UnicodeDecodeError.

Nó có thể tồi tệ hơn. Việc giải mã có thể thất bại trong âm thầm và tạo ra mojibake nếu bạn sử dụng mã hóa không tương thích sai:

>>> '—'.encode('utf-8').decode('cp1252')
'—'

Dữ liệu bị hỏng nhưng chương trình của bạn vẫn không biết rằng đã xảy ra lỗi.

Nói chung, mã hóa ký tự để sử dụng không được nhúng trong chính chuỗi byte. Bạn phải truyền đạt thông tin này ra khỏi ban nhạc. Một số kết quả có nhiều khả năng hơn các kết quả khác và do đó chardetmô-đun tồn tại có thể đoán mã hóa ký tự. Một tập lệnh Python có thể sử dụng nhiều mã hóa ký tự ở các vị trí khác nhau.

lsđầu ra có thể được chuyển đổi thành một chuỗi Python bằng cách sử dụng os.fsdecode() chức năng thành công ngay cả đối với tên tệp không thể giải mã được (nó sử dụng sys.getfilesystemencoding()và surrogateescapexử lý lỗi trên Unix):

import os
import subprocess

output = os.fsdecode(subprocess.check_output('ls'))

Để có được các byte gốc, bạn có thể sử dụng os.fsencode().

Nếu bạn truyền universal_newlines=Truetham số thì subprocesssử dụng locale.getpreferredencoding(False)để giải mã byte, ví dụ, nó có thể có cp1252trên Windows.

Để giải mã luồng byte đang hoạt động, io.TextIOWrapper() có thể được sử dụng: ví dụ .

Các lệnh khác nhau có thể sử dụng mã hóa ký tự khác nhau cho đầu ra của chúng, ví dụ: dirlệnh nội bộ ( cmd) có thể sử dụng cp437. Để giải mã đầu ra của nó, bạn có thể chuyển mã hóa một cách rõ ràng (Python 3.6+):

output = subprocess.check_output('dir', shell=True, encoding='cp437')

Tên tệp có thể khác với os.listdir()(sử dụng API Unicode của Windows), vd, '\xb6'có thể được thay thế bằng các '\x14'bản đồ codec cp437 của HPPython b'\x14'để điều khiển ký tự U + 0014 thay vì U + 00B6 (). Để hỗ trợ tên tệp với các ký tự Unicode tùy ý, hãy xem Giải mã đầu ra PowerShell có thể chứa các ký tự Unicode không phải ASCII thành chuỗi Python

Vì câu hỏi này thực sự là hỏi về subprocessđầu ra, bạn có sẵn một cách tiếp cận trực tiếp hơn vì Popenchấp nhận từ khóa mã hóa (trong Python 3.6+):

>>> from subprocess import Popen, PIPE
>>> text = Popen(['ls', '-l'], stdout=PIPE, encoding='utf-8').communicate()[0]
>>> type(text)
str
>>> print(text)
total 0
-rw-r--r-- 1 wim badger 0 May 31 12:45 some_file.txt

Câu trả lời chung cho những người dùng khác là giải mã byte thành văn bản:

>>> b'abcde'.decode()
'abcde'

Không có đối số, sys.getdefaultencoding()sẽ được sử dụng. Nếu dữ liệu của bạn không phải sys.getdefaultencoding(), thì bạn phải chỉ định mã hóa rõ ràng trong decodecuộc gọi:

>>> b'caf\xe9'.decode('cp1250')
'café'

Nếu bạn nên có được những điều sau đây bằng cách thử decode():

AttributionError: đối tượng 'str' không có thuộc tính 'giải mã'

Bạn cũng có thể chỉ định loại mã hóa thẳng trong một nhóm:

>>> my_byte_str
b'Hello World'

>>> str(my_byte_str, 'utf-8')
'Hello World'

Khi làm việc với dữ liệu từ các hệ thống Windows (có \r\nkết thúc dòng), câu trả lời của tôi là

String = Bytes.decode("utf-8").replace("\r\n", "\n")

Tại sao? Hãy thử điều này với Input.txt đa dòng:

Bytes = open("Input.txt", "rb").read()
String = Bytes.decode("utf-8")
open("Output.txt", "w").write(String)

Tất cả các kết thúc dòng của bạn sẽ được nhân đôi (đến \r\r\n), dẫn đến các dòng trống thêm. Các hàm đọc văn bản của Python thường chuẩn hóa các kết thúc dòng để các chuỗi chỉ sử dụng \n. Nếu bạn nhận được dữ liệu nhị phân từ hệ thống Windows, Python không có cơ hội làm điều đó. Như vậy

Bytes = open("Input.txt", "rb").read()
String = Bytes.decode("utf-8").replace("\r\n", "\n")
open("Output.txt", "w").write(String)

sẽ sao chép tập tin gốc của bạn.

Tôi đã thực hiện một chức năng để làm sạch một danh sách

def cleanLists(self, lista):
    lista = [x.strip() for x in lista]
    lista = [x.replace('\n', '') for x in lista]
    lista = [x.replace('\b', '') for x in lista]
    lista = [x.encode('utf8') for x in lista]
    lista = [x.decode('utf8') for x in lista]

    return lista

Đối với Python 3, đây là cách tiếp cận Pythonic an toàn hơn nhiều để chuyển đổi từ bytesang string:

def byte_to_str(bytes_or_str):
    if isinstance(bytes_or_str, bytes): # Check if it's in bytes
        print(bytes_or_str.decode('utf-8'))
    else:
        print("Object not of byte type")

byte_to_str(b'total 0\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2\n')

Đầu ra:

total 0
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2

Từ sys - Các tham số và chức năng dành riêng cho hệ thống :

Để ghi hoặc đọc dữ liệu nhị phân từ / đến các luồng tiêu chuẩn, hãy sử dụng bộ đệm nhị phân cơ bản. Ví dụ, để viết byte vào thiết bị xuất chuẩn, hãy sử dụng sys.stdout.buffer.write(b'abc').

def toString(string):    
    try:
        return v.decode("utf-8")
    except ValueError:
        return string

b = b'97.080.500'
s = '97.080.500'
print(toString(b))
print(toString(s))

Đối với trường hợp cụ thể của bạn là "chạy lệnh shell và lấy đầu ra của nó dưới dạng văn bản thay vì byte", trên Python 3.7, bạn nên sử dụng subprocess.runvà truyền vào text=True(cũng như capture_output=Trueđể bắt đầu ra)

command_result = subprocess.run(["ls", "-l"], capture_output=True, text=True)
command_result.stdout  # is a `str` containing your program's stdout

textđã từng được gọi universal_newlinesvà được thay đổi (tốt, bí danh) trong Python 3.7. Nếu bạn muốn hỗ trợ các phiên bản Python trước 3.7, hãy chuyển qua universal_newlines=Truethay vìtext=True

Nếu bạn muốn chuyển đổi bất kỳ byte nào, không chỉ chuỗi được chuyển đổi thành byte:

with open("bytesfile", "rb") as infile:
    str = base64.b85encode(imageFile.read())

with open("bytesfile", "rb") as infile:
    str2 = json.dumps(list(infile.read()))

Điều này không phải là rất hiệu quả, tuy nhiên. Nó sẽ biến một hình ảnh 2 MB thành 9 MB.

thử cái này

bytes.fromhex('c3a9').decode('utf-8')