Làm cách nào tôi có thể đọc các tệp văn bản lớn trong Python, từng dòng mà không tải nó vào bộ nhớ?

Tôi cần đọc một tập tin lớn, từng dòng một. Hãy nói rằng tập tin có hơn 5GB và tôi cần đọc từng dòng, nhưng rõ ràng tôi không muốn sử dụng readlines()vì nó sẽ tạo ra một danh sách rất lớn trong bộ nhớ.

Làm thế nào mã dưới đây sẽ làm việc cho trường hợp này? Có phải xreadlineschính nó đang đọc từng cái một vào bộ nhớ? Là biểu thức máy phát điện cần thiết?

f = (line for line in open("log.txt").xreadlines())  # how much is loaded in memory?

f.next()  

Ngoài ra, tôi có thể làm gì để đọc thứ này theo thứ tự ngược lại, giống như taillệnh Linux ?

Tôi đã tìm thấy:

http://code.google.com.vn/p/pytailer/

và

" Đầu trăn, đuôi và đọc ngược bằng các dòng của tệp văn bản "

Cả hai đều làm việc rất tốt!

Tôi đã cung cấp câu trả lời này bởi vì Keith, trong khi cô đọng, không đóng tệp một cách rõ ràng

with open("log.txt") as infile:
    for line in infile:
        do_something_with(line)

Tất cả những gì bạn cần làm là sử dụng đối tượng tệp như một trình vòng lặp.

for line in open("log.txt"):
    do_something_with(line)

Thậm chí tốt hơn là sử dụng trình quản lý bối cảnh trong các phiên bản Python gần đây.

with open("log.txt") as fileobject:
    for line in fileobject:
        do_something_with(line)

Điều này sẽ tự động đóng các tập tin là tốt.

Một cách tiếp cận trường học cũ:

fh = open(file_name, 'rt')
line = fh.readline()
while line:
    # do stuff with line
    line = fh.readline()
fh.close()

Thay vào đó, bạn nên sử dụng một iterator. Có liên quan: http://docs.python.org/l Library / fileinput.html

Từ các tài liệu:

import fileinput
for line in fileinput.input("filename"):
    process(line)

Điều này sẽ tránh sao chép toàn bộ tập tin vào bộ nhớ cùng một lúc.

Đây là những gì bạn làm nếu bạn không có dòng mới trong tệp:

with open('large_text.txt') as f:
  while True:
    c = f.read(1024)
    if not c:
      break
    print(c)

Vui lòng thử điều này:

with open('filename','r',buffering=100000) as f:
    for line in f:
        print line

Tôi không thể tin rằng nó có thể dễ như câu trả lời của @ john-la-rooy. Vì vậy, tôi đã tạo lại cplệnh bằng cách đọc và viết từng dòng. Đó là NHANH CHÓNG.

#!/usr/bin/env python3.6

import sys

with open(sys.argv[2], 'w') as outfile:
    with open(sys.argv[1]) as infile:
        for line in infile:
            outfile.write(line)

Các ngọn lửa dự án đã đi một chặng đường dài trong 6 năm qua. Nó có một API đơn giản bao gồm một tập hợp con hữu ích của các tính năng gấu trúc.

dask.dataframe đảm nhiệm việc phân chia nội bộ, hỗ trợ nhiều hoạt động song song và cho phép bạn xuất các lát trở lại gấu trúc một cách dễ dàng cho các hoạt động trong bộ nhớ.

import dask.dataframe as dd

df = dd.read_csv('filename.csv')
df.head(10)  # return first 10 rows
df.tail(10)  # return last 10 rows

# iterate rows
for idx, row in df.iterrows():
    ...

# group by my_field and return mean
df.groupby(df.my_field).value.mean().compute()

# slice by column
df[df.my_field=='XYZ'].compute()

Đây là mã để tải các tệp văn bản có kích thước bất kỳ mà không gây ra vấn đề bộ nhớ. Nó hỗ trợ các tệp có kích thước gigabyte

https://gist.github.com/iyvinjose/e6c1cb2821abd5f01fd1b9065cbc759d

tải xuống tệp data_loading_utils.py và nhập nó vào mã của bạn

sử dụng

import data_loading_utils.py.py
file_name = 'file_name.ext'
CHUNK_SIZE = 1000000


def process_lines(data, eof, file_name):

    # check if end of file reached
    if not eof:
         # process data, data is one single line of the file

    else:
         # end of file reached

data_loading_utils.read_lines_from_file_as_data_chunks(file_name, chunk_size=CHUNK_SIZE, callback=self.process_lines)

Phương thức process_lines là hàm gọi lại. Nó sẽ được gọi cho tất cả các dòng, với dữ liệu tham số đại diện cho một dòng duy nhất của tệp tại một thời điểm.

Bạn có thể định cấu hình biến CHUNK_SIZE tùy thuộc vào cấu hình phần cứng máy của bạn.

Còn cái này thì sao? Chia tệp của bạn thành các đoạn và sau đó đọc từng dòng một, bởi vì khi bạn đọc một tệp, hệ điều hành của bạn sẽ lưu trữ dòng tiếp theo. Nếu bạn đang đọc từng dòng tệp, bạn không sử dụng hiệu quả thông tin được lưu trong bộ nhớ cache.

Thay vào đó, chia tệp thành các khối và tải toàn bộ khối vào bộ nhớ và sau đó thực hiện xử lý của bạn.

def chunks(file,size=1024):
    while 1:

        startat=fh.tell()
        print startat #file's object current position from the start
        fh.seek(size,1) #offset from current postion -->1
        data=fh.readline()
        yield startat,fh.tell()-startat #doesnt store whole list in memory
        if not data:
            break
if os.path.isfile(fname):
    try:
        fh=open(fname,'rb') 
    except IOError as e: #file --> permission denied
        print "I/O error({0}): {1}".format(e.errno, e.strerror)
    except Exception as e1: #handle other exceptions such as attribute errors
        print "Unexpected error: {0}".format(e1)
    for ele in chunks(fh):
        fh.seek(ele[0])#startat
        data=fh.read(ele[1])#endat
        print data

Cảm ơn bạn! Gần đây tôi đã chuyển đổi sang python 3 và đã bị thất vọng khi sử dụng readlines (0) để đọc các tệp lớn. Điều này đã giải quyết vấn đề. Nhưng để có được mỗi dòng, tôi phải làm thêm một vài bước. Mỗi dòng được đi trước bởi một "b '" mà tôi đoán rằng nó ở định dạng nhị phân. Sử dụng "giải mã (utf-8)" đã thay đổi ascii.

Sau đó, tôi phải xóa một "= \ n" ở giữa mỗi dòng.

Sau đó, tôi chia các dòng ở dòng mới.

b_data=(fh.read(ele[1]))#endat This is one chunk of ascii data in binary format
        a_data=((binascii.b2a_qp(b_data)).decode('utf-8')) #Data chunk in 'split' ascii format
        data_chunk = (a_data.replace('=\n','').strip()) #Splitting characters removed
        data_list = data_chunk.split('\n')  #List containing lines in chunk
        #print(data_list,'\n')
        #time.sleep(1)
        for j in range(len(data_list)): #iterate through data_list to get each item 
            i += 1
            line_of_data = data_list[j]
            print(line_of_data)

Đây là mã bắt đầu ngay phía trên "dữ liệu in" trong mã của Arohi.

Tôi đã trình bày một cách tiếp cận truy cập ngẫu nhiên mức byte song song ở đây trong câu hỏi khác này:

Lấy số lượng dòng trong một tệp văn bản mà không cần đọc

Một số câu trả lời đã được cung cấp là tốt đẹp và súc tích. Tôi thích một số trong số họ. Nhưng nó thực sự phụ thuộc vào những gì bạn muốn làm với dữ liệu trong tệp. Trong trường hợp của tôi, tôi chỉ muốn đếm các dòng, càng nhanh càng tốt trên các tệp văn bản lớn. Mã của tôi có thể được sửa đổi để làm những thứ khác tất nhiên, giống như bất kỳ mã nào.

Giải pháp tốt nhất tôi tìm thấy liên quan đến vấn đề này và tôi đã thử nó trên tệp 330 MB.

lineno = 500
line_length = 8
with open('catfour.txt', 'r') as file:
    file.seek(lineno * (line_length + 2))
    print(file.readline(), end='')

Trong đó line_length là số lượng ký tự trong một dòng. Ví dụ "abcd" có độ dài dòng 4.

Tôi đã thêm 2 chiều dài dòng để bỏ qua ký tự '\ n' và chuyển sang ký tự tiếp theo.

Điều này có thể hữu ích khi bạn muốn làm việc song song và chỉ đọc các khối dữ liệu nhưng giữ sạch sẽ với các dòng mới.

def readInChunks(fileObj, chunkSize=1024):
    while True:
        data = fileObj.read(chunkSize)
        if not data:
            break
        while data[-1:] != '\n':
            data+=fileObj.read(1)
        yield data

f=open('filename','r').read()
f1=f.split('\n')
for i in range (len(f1)):
    do_something_with(f1[i])

hi vọng điêu nay co ich.