Làm cách nào để bỏ qua dòng dữ liệu đầu tiên khi xử lý dữ liệu CSV?

Tôi đang yêu cầu Python in số tối thiểu từ một cột dữ liệu CSV, nhưng hàng trên cùng là số cột và tôi không muốn Python tính đến hàng trên cùng. Làm cách nào để đảm bảo Python bỏ qua dòng đầu tiên?

Đây là mã cho đến nay:

import csv

with open('all16.csv', 'rb') as inf:
    incsv = csv.reader(inf)
    column = 1                
    datatype = float          
    data = (datatype(column) for row in incsv)   
    least_value = min(data)

print least_value

Bạn cũng có thể giải thích những gì bạn đang làm, không chỉ cung cấp mã? Tôi rất mới đối với Python và muốn đảm bảo rằng tôi hiểu mọi thứ.

Bạn có thể sử dụng một phiên bản csvcủa Snifferlớp mô-đun để suy ra định dạng của tệp CSV và phát hiện xem hàng tiêu đề có xuất hiện cùng với next()hàm tích hợp hay không để chỉ bỏ qua hàng đầu tiên khi cần thiết:

import csv

with open('all16.csv', 'r', newline='') as file:
    has_header = csv.Sniffer().has_header(file.read(1024))
    file.seek(0)  # Rewind.
    reader = csv.reader(file)
    if has_header:
        next(reader)  # Skip header row.
    column = 1
    datatype = float
    data = (datatype(row[column]) for row in reader)
    least_value = min(data)

print(least_value)

Vì datatypevà columnđược mã hóa cứng trong ví dụ của bạn, nên sẽ nhanh hơn một chút để xử lý rownhư sau:

    data = (float(row[1]) for row in reader)

Lưu ý: đoạn mã trên dành cho Python 3.x. Đối với Python 2.x, hãy sử dụng dòng sau để mở tệp thay vì những gì được hiển thị:

with open('all16.csv', 'rb') as file:

Để bỏ qua dòng đầu tiên, chỉ cần gọi:

next(inf)

Các tệp trong Python là các trình lặp trên các dòng.

Trong một trường hợp sử dụng tương tự, tôi phải bỏ qua các dòng khó chịu trước dòng có tên cột thực của mình. Giải pháp này hoạt động tốt. Đọc tệp trước, sau đó chuyển danh sách vào csv.DictReader.

with open('all16.csv') as tmp:
    # Skip first line (if any)
    next(tmp, None)

    # {line_num: row}
    data = dict(enumerate(csv.DictReader(tmp)))

Mượn từ sách dạy nấu ăn python ,
Mã mẫu ngắn gọn hơn có thể trông giống như sau:

import csv
with open('stocks.csv') as f:
    f_csv = csv.reader(f) 
    headers = next(f_csv) 
    for row in f_csv:
        # Process row ...

Thông thường, bạn sẽ sử dụng next(incsv)cái nào nâng cao trình lặp một hàng, vì vậy bạn bỏ qua tiêu đề. Cái khác (giả sử bạn muốn bỏ qua 30 hàng) sẽ là:

from itertools import islice
for row in islice(incsv, 30, None):
    # process

sử dụng csv.DictReader thay vì csv.Reader. Nếu tham số tên trường bị bỏ qua, các giá trị trong hàng đầu tiên của tệp csvfile sẽ được sử dụng làm tên trường. sau đó bạn có thể truy cập các giá trị trường bằng hàng ["1"], v.v.

Gói 'gấu trúc' mới có thể phù hợp hơn 'csv'. Đoạn mã dưới đây sẽ đọc một tệp CSV, theo mặc định, dòng đầu tiên là tiêu đề cột và tìm giá trị tối thiểu trên các cột.

import pandas as pd

data = pd.read_csv('all16.csv')
data.min()

Vâng, thư viện trình bao bọc mini của tôi cũng sẽ thực hiện công việc.

>>> import pyexcel as pe
>>> data = pe.load('all16.csv', name_columns_by_row=0)
>>> min(data.column[1])

Trong khi đó, nếu bạn biết chỉ mục của cột tiêu đề là gì, chẳng hạn như "Cột 1", bạn có thể thực hiện việc này thay thế:

>>> min(data.column["Column 1"])

Đối với tôi, cách dễ nhất để đi là sử dụng phạm vi.

import csv

with open('files/filename.csv') as I:
    reader = csv.reader(I)
    fulllist = list(reader)

# Starting with data skipping header
for item in range(1, len(fulllist)): 
    # Print each row using "item" as the index value
    print (fulllist[item])  

Vì điều này liên quan đến một việc mà tôi đang làm nên tôi sẽ chia sẻ ở đây.

Điều gì sẽ xảy ra nếu chúng tôi không chắc liệu có tiêu đề hay không và bạn cũng không muốn nhập trình đánh giá và những thứ khác?

Nếu tác vụ của bạn là cơ bản, chẳng hạn như in hoặc thêm vào danh sách hoặc mảng, bạn chỉ có thể sử dụng câu lệnh if:

# Let's say there's 4 columns
with open('file.csv') as csvfile:
     csvreader = csv.reader(csvfile)
# read first line
     first_line = next(csvreader)
# My headers were just text. You can use any suitable conditional here
     if len(first_line) == 4:
          array.append(first_line)
# Now we'll just iterate over everything else as usual:
     for row in csvreader:
          array.append(row)

Các tài liệu cho các mô-đun Python 3 CSV cung cấp ví dụ này:

with open('example.csv', newline='') as csvfile:
    dialect = csv.Sniffer().sniff(csvfile.read(1024))
    csvfile.seek(0)
    reader = csv.reader(csvfile, dialect)
    # ... process CSV file contents here ...

Nó Sniffersẽ cố gắng tự động phát hiện nhiều thứ về tệp CSV. Bạn cần gọi has_header()phương thức của nó một cách rõ ràng để xác định xem tệp có dòng tiêu đề hay không. Nếu đúng, hãy bỏ qua hàng đầu tiên khi lặp lại các hàng CSV. Bạn có thể làm như thế này:

if sniffer.has_header():
    for header_row in reader:
        break
for data_row in reader:
    # do something with the row

Tôi sẽ sử dụng đuôi để loại bỏ dòng đầu tiên không mong muốn:

tail -n +2 $INFIL | whatever_script.py 

chỉ cần thêm [1:]

ví dụ bên dưới:

data = pd.read_csv("/Users/xyz/Desktop/xyxData/xyz.csv", sep=',', header=None)**[1:]**

điều đó phù hợp với tôi trong iPython

Python 3.X

Xử lý UTF8 BOM + HEADER

Nó khá bực bội khi csvmô-đun không thể dễ dàng lấy được tiêu đề, cũng có một lỗi với UTF-8 BOM (ký tự đầu tiên trong tệp). Điều này phù hợp với tôi khi chỉ sử dụng csvmô-đun:

import csv

def read_csv(self, csv_path, delimiter):
    with open(csv_path, newline='', encoding='utf-8') as f:
        # https://bugs.python.org/issue7185
        # Remove UTF8 BOM.
        txt = f.read()[1:]

    # Remove header line.
    header = txt.splitlines()[:1]
    lines = txt.splitlines()[1:]

    # Convert to list.
    csv_rows = list(csv.reader(lines, delimiter=delimiter))

    for row in csv_rows:
        value = row[INDEX_HERE]

Tôi sẽ chuyển đổi csvreader thành danh sách, sau đó bật phần tử đầu tiên

import csv        

with open(fileName, 'r') as csvfile:
        csvreader = csv.reader(csvfile)
        data = list(csvreader)               # Convert to list
        data.pop(0)                          # Removes the first row

        for row in data:
            print(row)

Python 2.x

csvreader.next()

Trả lại hàng tiếp theo của đối tượng có thể lặp lại của người đọc dưới dạng danh sách, được phân tích cú pháp theo phương ngữ hiện tại.

csv_data = csv.reader(open('sample.csv'))
csv_data.next() # skip first row
for row in csv_data:
    print(row) # should print second row

Python 3.x

csvreader.__next__()

Trả về hàng tiếp theo của đối tượng có thể lặp lại của trình đọc dưới dạng danh sách (nếu đối tượng được trả về từ trình đọc ()) hoặc một dict (nếu là đối tượng DictReader), được phân tích cú pháp theo phương ngữ hiện tại. Thông thường bạn nên gọi đây là tiếp theo (người đọc).

csv_data = csv.reader(open('sample.csv'))
csv_data.__next__() # skip first row
for row in csv_data:
    print(row) # should print second row