Ghi vào tệp UTF-8 bằng Python

Tôi thực sự bối rối với codecs.open function. Khi tôi làm:

file = codecs.open("temp", "w", "utf-8")
file.write(codecs.BOM_UTF8)
file.close()

Nó cho tôi lỗi

UnicodeDecodeError: 'ascii' codec không thể giải mã byte 0xef ở vị trí 0: thứ tự không nằm trong phạm vi (128)

Nếu tôi làm:

file = open("temp", "w")
file.write(codecs.BOM_UTF8)
file.close()

Nó hoạt động tốt.

Câu hỏi là tại sao phương pháp đầu tiên thất bại? Và làm thế nào để tôi chèn bom?

Nếu phương pháp thứ hai là cách làm đúng, thì điểm sử dụng là codecs.open(filename, "w", "utf-8")gì?

Tôi tin rằng vấn đề là codecs.BOM_UTF8chuỗi byte chứ không phải chuỗi Unicode. Tôi nghi ngờ trình xử lý tệp đang cố gắng đoán ý nghĩa thực sự của bạn dựa trên "Tôi có nghĩa là viết Unicode dưới dạng văn bản được mã hóa UTF-8, nhưng bạn đã cho tôi một chuỗi byte!"

Hãy thử viết chuỗi Unicode cho dấu thứ tự byte (tức là Unicode U + FEFF) trực tiếp, để tệp chỉ mã hóa dưới dạng UTF-8:

import codecs

file = codecs.open("lol", "w", "utf-8")
file.write(u'\ufeff')
file.close()

(Điều đó dường như đưa ra câu trả lời đúng - một tệp có byte EF BB BF.)

EDIT: Đề xuất của S. Lott về việc sử dụng "utf-8-sig" vì mã hóa là một cách tốt hơn so với việc tự viết BOM một cách rõ ràng, nhưng tôi sẽ để lại câu trả lời này ở đây vì nó giải thích những gì đã sai trước đây.

Đọc phần sau: http://docs.python.org/l Library / cadecs.html#module-encodings.utf_8_sig

Làm cái này

with codecs.open("test_output", "w", "utf-8-sig") as temp:
    temp.write("hi mom\n")
    temp.write(u"This has ♭")

Tệp kết quả là UTF-8 với BOM dự kiến.

@ S-Lott đưa ra quy trình đúng, nhưng mở rộng về các vấn đề Unicode , trình thông dịch Python có thể cung cấp nhiều thông tin chi tiết hơn.

Jon Skeet nói đúng (không bình thường) về codecsmô-đun - nó chứa các chuỗi byte:

>>> import codecs
>>> codecs.BOM
'\xff\xfe'
>>> codecs.BOM_UTF8
'\xef\xbb\xbf'
>>> 

Chọn một nit khác, BOMcó tên Unicode tiêu chuẩn và có thể được nhập dưới dạng:

>>> bom= u"\N{ZERO WIDTH NO-BREAK SPACE}"
>>> bom
u'\ufeff'

Nó cũng có thể truy cập thông qua unicodedata:

>>> import unicodedata
>>> unicodedata.lookup('ZERO WIDTH NO-BREAK SPACE')
u'\ufeff'
>>> 

Tôi sử dụng lệnh file * nix để chuyển đổi tệp ký tự không xác định trong tệp utf-8

# -*- encoding: utf-8 -*-

# converting a unknown formatting file in utf-8

import codecs
import commands

file_location = "jumper.sub"
file_encoding = commands.getoutput('file -b --mime-encoding %s' % file_location)

file_stream = codecs.open(file_location, 'r', file_encoding)
file_output = codecs.open(file_location+"b", 'w', 'utf-8')

for l in file_stream:
    file_output.write(l)

file_stream.close()
file_output.close()