Tải tập tin lớn bằng python với yêu cầu

Yêu cầu là một thư viện thực sự tốt đẹp. Tôi muốn sử dụng nó để tải xuống các tệp lớn (> 1GB). Vấn đề là không thể giữ toàn bộ tập tin trong bộ nhớ. Tôi cần đọc nó theo từng đoạn. Và đây là một vấn đề với đoạn mã sau

import requests

def DownloadFile(url)
    local_filename = url.split('/')[-1]
    r = requests.get(url)
    f = open(local_filename, 'wb')
    for chunk in r.iter_content(chunk_size=512 * 1024): 
        if chunk: # filter out keep-alive new chunks
            f.write(chunk)
    f.close()
    return 

Bởi một số lý do nó không hoạt động theo cách này. Nó vẫn tải phản hồi vào bộ nhớ trước khi lưu nó vào một tập tin.

CẬP NHẬT

Nếu bạn cần một máy khách nhỏ (Python 2.x /3.x) có thể tải xuống các tệp lớn từ FTP, bạn có thể tìm thấy nó ở đây . Nó hỗ trợ đa luồng & kết nối lại (nó giám sát các kết nối), nó cũng điều chỉnh các thông số ổ cắm cho tác vụ tải xuống.

Với mã phát trực tiếp sau đây, việc sử dụng bộ nhớ Python bị hạn chế bất kể kích thước của tệp được tải xuống:

def download_file(url):
    local_filename = url.split('/')[-1]
    # NOTE the stream=True parameter below
    with requests.get(url, stream=True) as r:
        r.raise_for_status()
        with open(local_filename, 'wb') as f:
            for chunk in r.iter_content(chunk_size=8192): 
                # If you have chunk encoded response uncomment if
                # and set chunk_size parameter to None.
                #if chunk: 
                f.write(chunk)
    return local_filename

Lưu ý rằng số byte được trả về sử dụng iter_contentkhông chính xác chunk_size; nó được dự đoán là một số ngẫu nhiên thường lớn hơn nhiều và được dự kiến ​​sẽ khác nhau trong mỗi lần lặp.

Xem https://requests.readthedocs.io/en/latest/user/advified/#body-content-workflow và https://requests.readthedocs.io/en/latest/api/#requests.Response.iter_content để biết thêm tài liệu tham khảo.

Sẽ dễ dàng hơn nhiều nếu bạn sử dụng Response.rawvà shutil.copyfileobj():

import requests
import shutil

def download_file(url):
    local_filename = url.split('/')[-1]
    with requests.get(url, stream=True) as r:
        with open(local_filename, 'wb') as f:
            shutil.copyfileobj(r.raw, f)

    return local_filename

Điều này truyền tệp vào đĩa mà không sử dụng bộ nhớ quá mức và mã rất đơn giản.

Không chính xác những gì OP đã yêu cầu, nhưng ... thật dễ dàng để làm điều đó với urllib:

from urllib.request import urlretrieve
url = 'http://mirror.pnl.gov/releases/16.04.2/ubuntu-16.04.2-desktop-amd64.iso'
dst = 'ubuntu-16.04.2-desktop-amd64.iso'
urlretrieve(url, dst)

Hoặc theo cách này, nếu bạn muốn lưu nó vào một tệp tạm thời:

from urllib.request import urlopen
from shutil import copyfileobj
from tempfile import NamedTemporaryFile
url = 'http://mirror.pnl.gov/releases/16.04.2/ubuntu-16.04.2-desktop-amd64.iso'
with urlopen(url) as fsrc, NamedTemporaryFile(delete=False) as fdst:
    copyfileobj(fsrc, fdst)

Tôi đã xem quá trình:

watch 'ps -p 18647 -o pid,ppid,pmem,rsz,vsz,comm,args; ls -al *.iso'

Và tôi thấy tập tin ngày càng tăng, nhưng mức sử dụng bộ nhớ vẫn ở mức 17 MB. Tui bỏ lỡ điều gì vậy?

Kích thước khối của bạn có thể quá lớn, bạn đã thử bỏ nó - có thể 1024 byte mỗi lần chưa? (ngoài ra, bạn có thể sử dụng withđể dọn dẹp cú pháp)

def DownloadFile(url):
    local_filename = url.split('/')[-1]
    r = requests.get(url)
    with open(local_filename, 'wb') as f:
        for chunk in r.iter_content(chunk_size=1024): 
            if chunk: # filter out keep-alive new chunks
                f.write(chunk)
    return 

Ngẫu nhiên, làm thế nào bạn suy luận rằng phản hồi đã được tải vào bộ nhớ?

Nghe có vẻ như python không xóa dữ liệu thành tệp, từ các câu hỏi SO khác mà bạn có thể thử f.flush()và os.fsync()buộc tệp ghi và bộ nhớ trống;

    with open(local_filename, 'wb') as f:
        for chunk in r.iter_content(chunk_size=1024): 
            if chunk: # filter out keep-alive new chunks
                f.write(chunk)
                f.flush()
                os.fsync(f.fileno())