“Dòng chứa byte NULL” trong trình đọc CSV (Python)

Tôi đang cố gắng viết một chương trình xem tệp .CSV (input.csv) và chỉ viết lại các hàng bắt đầu bằng một phần tử nhất định (fixed.csv), như được liệt kê trong tệp văn bản (output.txt).

Đây là những gì chương trình của tôi trông giống như ngay bây giờ:

import csv

lines = []
with open('output.txt','r') as f:
    for line in f.readlines():
        lines.append(line[:-1])

with open('corrected.csv','w') as correct:
    writer = csv.writer(correct, dialect = 'excel')
    with open('input.csv', 'r') as mycsv:
        reader = csv.reader(mycsv)
        for row in reader:
            if row[0] not in lines:
                writer.writerow(row)

Thật không may, tôi vẫn gặp lỗi này và tôi không biết nó là gì.

Traceback (most recent call last):
  File "C:\Python32\Sample Program\csvParser.py", line 12, in <module>
    for row in reader:
_csv.Error: line contains NULL byte

Tín dụng cho tất cả những người ở đây để giúp tôi đến thời điểm này.

Tôi đã giải quyết một vấn đề tương tự bằng một giải pháp dễ dàng hơn:

import codecs
csvReader = csv.reader(codecs.open('file.csv', 'rU', 'utf-16'))

Chìa khóa là sử dụng mô-đun codec để mở tệp với mã hóa UTF-16, có rất nhiều mã hóa khác, hãy kiểm tra tài liệu .

Tôi đoán bạn có một byte NUL trong input.csv. Bạn có thể kiểm tra điều đó với

if '\0' in open('input.csv').read():
    print "you have null bytes in your input file"
else:
    print "you don't"

nếu bạn làm,

reader = csv.reader(x.replace('\0', '') for x in mycsv)

có thể giúp bạn vượt qua điều đó. Hoặc nó có thể cho biết bạn có utf16 hoặc thứ gì đó 'thú vị' trong tệp .csv.

Nếu bạn muốn thay thế null bằng một cái gì đó, bạn có thể làm như sau:

def fix_nulls(s):
    for line in s:
        yield line.replace('\0', ' ')

r = csv.reader(fix_nulls(open(...)))

Bạn chỉ có thể nội dòng một trình tạo để lọc ra các giá trị null nếu bạn muốn giả sử chúng không tồn tại. Tất nhiên, điều này là giả định các byte rỗng không thực sự là một phần của mã hóa và thực sự là một số loại lỗi hoặc lỗi tạo tác sai lầm.

Xem phần (line.replace('\0','') for line in f)bên dưới, bạn cũng có thể muốn mở tệp đó bằng chế độ rb.

import csv

lines = []
with open('output.txt','r') as f:
    for line in f.readlines():
        lines.append(line[:-1])

with open('corrected.csv','w') as correct:
    writer = csv.writer(correct, dialect = 'excel')
    with open('input.csv', 'rb') as mycsv:
        reader = csv.reader( (line.replace('\0','') for line in mycsv) )
        for row in reader:
            if row[0] not in lines:
                writer.writerow(row)

Điều này sẽ cho bạn biết dòng nào là vấn đề.

import csv

lines = []
with open('output.txt','r') as f:
    for line in f.readlines():
        lines.append(line[:-1])

with open('corrected.csv','w') as correct:
    writer = csv.writer(correct, dialect = 'excel')
    with open('input.csv', 'r') as mycsv:
        reader = csv.reader(mycsv)
        try:
            for i, row in enumerate(reader):
                if row[0] not in lines:
                   writer.writerow(row)
        except csv.Error:
            print('csv choked on line %s' % (i+1))
            raise

Có lẽ điều này từ daniweb sẽ hữu ích:

Tôi gặp lỗi này khi đọc từ tệp csv: "Lỗi thời gian chạy! Dòng chứa byte NULL". Bất kỳ ý tưởng về nguyên nhân gốc rễ của lỗi này?

...

Ok, tôi đã hiểu và nghĩ rằng tôi sẽ đăng giải pháp. Chỉ đơn giản là khiến tôi đau buồn ... Tệp đã sử dụng được lưu ở định dạng .xls thay vì .csv Không hiểu được điều này vì bản thân tên tệp có phần mở rộng .csv trong khi loại vẫn là .xls

Một cách khó:

Nếu bạn phát triển dưới Lunux, bạn có thể sử dụng tất cả sức mạnh của sed :

from subprocess import check_call, CalledProcessError

PATH_TO_FILE = '/home/user/some/path/to/file.csv'

try:
    check_call("sed -i -e 's|\\x0||g' {}".format(PATH_TO_FILE), shell=True)
except CalledProcessError as err:
    print(err)    

Giải pháp hiệu quả nhất cho các tệp lớn.

Đã kiểm tra Python3, Kubuntu

Gần đây tôi đã khắc phục sự cố này và trong trường hợp của tôi, đó là một tệp đã được nén mà tôi đang cố đọc. Kiểm tra định dạng tệp trước. Sau đó, kiểm tra xem nội dung có phải là những gì tiện ích mở rộng đề cập đến không.

Biến môi trường linux của tôi thành một môi trường UTF-8 hoàn chỉnh sạch sẽ đã tạo nên một mẹo nhỏ cho tôi. Hãy thử những điều sau trong dòng lệnh của bạn:

export LC_ALL=en_US.UTF-8
export LANG=en_US.UTF-8
export LANGUAGE=en_US.UTF-8

Điều này đã được giải quyết từ lâu, nhưng tôi gặp phải câu trả lời này vì tôi gặp phải lỗi không mong muốn khi đọc CSV để xử lý dưới dạng dữ liệu đào tạo trong Keras và TensorFlow.

Trong trường hợp của tôi, vấn đề đơn giản hơn nhiều và đáng được lưu ý. Dữ liệu được tạo vào CSV không nhất quán, dẫn đến một số cột bị thiếu hoàn toàn, điều này dường như cũng dẫn đến lỗi này.

Bài học: Nếu bạn gặp lỗi này, hãy xác minh rằng dữ liệu của bạn trông giống như bạn nghĩ!

pandas.read_csv hiện xử lý mã hóa UTF khác nhau khi đọc / ghi và do đó có thể xử lý trực tiếp với các byte trống

data = pd.read_csv(file, encoding='utf-16')

xem https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_csv.html