Lỗi CSV trong Python: dòng chứa byte NULL

Tôi đang làm việc với một số tệp CSV, với mã sau:

reader = csv.reader(open(filepath, "rU"))
try:
    for row in reader:
        print 'Row read successfully!', row
except csv.Error, e:
    sys.exit('file %s, line %d: %s' % (filename, reader.line_num, e))

Và một tệp đang gặp lỗi này:

file my.csv, line 1: line contains NULL byte

Tôi có thể làm gì? Google dường như cho rằng đó có thể là một tệp Excel được lưu dưới dạng .csv không đúng cách. Có cách nào tôi có thể giải quyết vấn đề này bằng Python không?

== CẬP NHẬT ==

Theo nhận xét của @ JohnMachin bên dưới, tôi đã thử thêm những dòng này vào tập lệnh của mình:

print repr(open(filepath, 'rb').read(200)) # dump 1st 200 bytes of file
data = open(filepath, 'rb').read()
print data.find('\x00')
print data.count('\x00')

Và đây là kết quả tôi nhận được:

'\xd0\xcf\x11\xe0\xa1\xb1\x1a\xe1\x00\x00\x00\x00\x00\x00\x00\x00\ .... <snip>
8
13834

Vì vậy, tệp thực sự chứa NUL byte.

Như @ S.Lott nói, bạn nên mở tệp của mình ở chế độ 'rb', không phải chế độ 'rU'. Tuy nhiên điều đó có thể KHÔNG gây ra vấn đề hiện tại của bạn. Theo như tôi biết, việc sử dụng chế độ 'rU' sẽ khiến bạn rối tung lên nếu có \rdữ liệu được nhúng vào, nhưng không gây ra bất kỳ bộ phim truyền hình nào khác. Tôi cũng lưu ý rằng bạn có một số tệp (tất cả đều được mở bằng 'rU' ??) nhưng chỉ một tệp gây ra sự cố.

Nếu mô-đun csv nói rằng bạn có byte "NULL" (thông báo ngớ ngẩn, phải là "NUL") trong tệp của bạn, thì bạn cần kiểm tra xem có gì trong tệp của mình. Tôi khuyên bạn nên làm điều này ngay cả khi sử dụng 'rb' làm cho vấn đề biến mất.

repr()là (hoặc muốn trở thành) người bạn gỡ lỗi của bạn. Nó sẽ hiển thị rõ ràng những gì bạn đã có, theo một cách độc lập với nền tảng (điều này rất hữu ích cho những người trợ giúp không biết những gì odđang làm hoặc đang làm). Làm cái này:

print repr(open('my.csv', 'rb').read(200)) # dump 1st 200 bytes of file

và cẩn thận sao chép / dán (không nhập lại) kết quả vào bản chỉnh sửa câu hỏi của bạn (không phải vào nhận xét).

Cũng lưu ý rằng nếu tệp thực sự khó hiểu, chẳng hạn như không có \ r hoặc \ n trong khoảng cách hợp lý từ đầu tệp, số dòng được báo cáo reader.line_numsẽ là (vô ích) 1. Tìm vị trí đầu tiên \x00(nếu có) bằng cách

data = open('my.csv', 'rb').read()
print data.find('\x00')

và đảm bảo rằng bạn kết xuất ít nhất nhiều byte đó với repr hoặc od.

Điều gì data.count('\x00')cho bạn biết? Nếu có nhiều, bạn có thể muốn làm điều gì đó như

for i, c in enumerate(data):
    if c == '\x00':
        print i, repr(data[i-30:i]) + ' *NUL* ' + repr(data[i+1:i+31])

để bạn có thể thấy các byte NUL trong ngữ cảnh.

Nếu bạn có thể thấy \x00trong đầu ra (hoặc \0trong od -cđầu ra của bạn ), thì bạn chắc chắn có (các) byte NUL trong tệp và bạn sẽ cần phải làm như sau:

fi = open('my.csv', 'rb')
data = fi.read()
fi.close()
fo = open('mynew.csv', 'wb')
fo.write(data.replace('\x00', ''))
fo.close()

Nhân tiện, bạn đã xem tệp (bao gồm vài dòng cuối cùng) bằng trình soạn thảo văn bản chưa? Nó có thực sự giống một tệp CSV hợp lý giống như các tệp khác (không có ngoại lệ "byte NULL") không?

data_initial = open("staff.csv", "rb")
data = csv.reader((line.replace('\0','') for line in data_initial), delimiter=",")

Điều này làm việc cho tôi.

Đọc nó là UTF-16 cũng là vấn đề của tôi.

Đây là mã của tôi đã hoạt động:

f=codecs.open(location,"rb","utf-16")
csvread=csv.reader(f,delimiter='\t')
csvread.next()
for row in csvread:
    print row

Vị trí là thư mục của tệp csv của bạn.

Tôi cũng gặp phải vấn đề này. Sử dụng csvmô-đun Python , tôi đang cố đọc tệp XLS được tạo trong MS Excel và gặp phải NULL bytelỗi mà bạn đang gặp phải. Tôi đã xem xét xung quanh và tìm thấy mô-đun Python xlrd để đọc và định dạng dữ liệu từ các tệp bảng tính MS Excel. Với xlrdmô-đun, tôi không chỉ có thể đọc tệp đúng cách mà còn có thể truy cập nhiều phần khác nhau của tệp theo cách mà trước đây tôi không thể.

Tôi nghĩ nó có thể giúp bạn.

Chuyển đổi mã hóa của tệp nguồn từ UTF-16 sang UTF-8 giải quyết vấn đề của tôi.

Làm thế nào để chuyển đổi một tệp thành utf-8 trong Python?

import codecs
BLOCKSIZE = 1048576 # or some other, desired size in bytes
with codecs.open(sourceFileName, "r", "utf-16") as sourceFile:
    with codecs.open(targetFileName, "w", "utf-8") as targetFile:
        while True:
            contents = sourceFile.read(BLOCKSIZE)
            if not contents:
                break
            targetFile.write(contents)

Bạn chỉ có thể nội dòng một trình tạo để lọc ra các giá trị null nếu bạn muốn giả sử chúng không tồn tại. Tất nhiên điều này là giả định các byte rỗng không thực sự là một phần của mã hóa và thực sự là một số loại lỗi hoặc lỗi tạo tác sai lầm.

with open(filepath, "rb") as f:
    reader = csv.reader( (line.replace('\0','') for line in f) )

    try:
        for row in reader:
            print 'Row read successfully!', row
    except csv.Error, e:
        sys.exit('file %s, line %d: %s' % (filename, reader.line_num, e))

Tại sao anh làm điều này?

 reader = csv.reader(open(filepath, "rU"))

Các tài liệu khá rõ ràng rằng bạn phải làm điều này:

with open(filepath, "rb") as src:
    reader= csv.reader( src )

Chế độ phải là "rb" để đọc.

http://docs.python.org/library/csv.html#csv.reader

Nếu csvfile là một đối tượng tệp, nó phải được mở bằng cờ 'b' trên các nền tảng tạo ra sự khác biệt.

rõ ràng đó là tệp XLS chứ không phải tệp CSV như http://www.garykessler.net/library/file_sigs.html xác nhận

Thay vì trình đọc csv, tôi sử dụng đọc tệp và chức năng tách cho chuỗi:

lines = open(input_file,'rb') 

for line_all in lines:

    line=line_all.replace('\x00', '').split(";")

Tôi cũng gặp lỗi tương tự. Đã lưu tệp trong UTF-8 và nó đã hoạt động.

Điều này đã xảy ra với tôi khi tôi tạo tệp CSV bằng OpenOffice Calc. Điều này đã không xảy ra khi tôi tạo tệp CSV trong trình soạn thảo văn bản của mình, ngay cả khi sau đó tôi đã chỉnh sửa nó bằng Calc.

Tôi đã giải quyết vấn đề của mình bằng cách sao chép và dán trong trình soạn thảo văn bản dữ liệu từ tệp do Calc tạo của tôi sang tệp mới do trình soạn thảo tạo.

Tôi đã gặp vấn đề tương tự khi mở CSV được tạo từ một dịch vụ web đã chèn NULL byte vào các tiêu đề trống. Tôi đã làm như sau để xóa tệp:

with codecs.open ('my.csv', 'rb', 'utf-8') as myfile:
    data = myfile.read()
    # clean file first if dirty
    if data.count( '\x00' ):
        print 'Cleaning...'
        with codecs.open('my.csv.tmp', 'w', 'utf-8') as of:
            for line in data:
                of.write(line.replace('\x00', ''))

        shutil.move( 'my.csv.tmp', 'my.csv' )

with codecs.open ('my.csv', 'rb', 'utf-8') as myfile:
    myreader = csv.reader(myfile, delimiter=',')
    # Continue with your business logic here...

Tuyên bố từ chối trách nhiệm: Hãy lưu ý rằng điều này sẽ ghi đè dữ liệu ban đầu của bạn. Đảm bảo rằng bạn có một bản sao lưu của nó. Bạn đã được cảnh báo!

Đối với tất cả những người ghét mã tệp 'rU': Tôi vừa thử mở tệp CSV từ máy Windows trên máy Mac với mã tệp 'rb' và tôi gặp lỗi này từ mô-đun csv:

Error: new-line character seen in unquoted field - do you need to 
open the file in universal-newline mode?

Mở tệp ở chế độ 'rU' hoạt động tốt. Tôi thích chế độ phổ quát-dòng mới - nó giúp tôi tiết kiệm rất nhiều rắc rối.

Tôi đã gặp phải điều này khi sử dụng scrapy và tìm nạp một tệp csvfile đã nén mà không có phần mềm trung gian chính xác để giải nén phần thân phản hồi trước khi đưa nó cho csvreader. Do đó, tệp không thực sự là tệp csv và do đó đã line contains NULL bytegây ra lỗi.

Bạn đã thử sử dụng gzip.open chưa?

with gzip.open('my.csv', 'rb') as data_file:

Tôi đang cố mở một tệp đã được nén nhưng có phần mở rộng là '.csv' thay vì 'csv.gz'. Lỗi này tiếp tục hiển thị cho đến khi tôi sử dụng gzip.open

Một trường hợp là - Nếu tệp CSV chứa các hàng trống, lỗi này có thể hiển thị. Kiểm tra hàng là cần thiết trước khi chúng tôi tiến hành viết hoặc đọc.

for row in csvreader:
        if (row):       
            do something

Tôi đã giải quyết vấn đề của mình bằng cách thêm kiểm tra này vào mã.