Chuyển đổi Django QuerySet thành gấu trúc DataFrame

Tôi sẽ chuyển đổi Django QuerySet thành gấu trúc DataFramenhư sau:

qs = SomeModel.objects.select_related().filter(date__year=2012)
q = qs.values('date', 'OtherField')
df = pd.DataFrame.from_records(q)

Nó hoạt động, nhưng có cách nào hiệu quả hơn không?

import pandas as pd
import datetime
from myapp.models import BlogPost

df = pd.DataFrame(list(BlogPost.objects.all().values()))
df = pd.DataFrame(list(BlogPost.objects.filter(date__gte=datetime.datetime(2012, 5, 1)).values()))

# limit which fields
df = pd.DataFrame(list(BlogPost.objects.all().values('author', 'date', 'slug')))

Trên đây là cách tôi làm điều tương tự. Bổ sung hữu ích nhất là chỉ định các trường bạn quan tâm. Nếu đó chỉ là một tập hợp con của các trường có sẵn mà bạn quan tâm, thì điều này sẽ giúp tăng hiệu suất mà tôi tưởng tượng.

Django Pandas giải quyết vấn đề này khá gọn gàng: https://github.com/chrisdev/django-pandas/

Từ README:

class MyModel(models.Model):
    full_name = models.CharField(max_length=25)
    age = models.IntegerField()
    department = models.CharField(max_length=3)
    wage = models.FloatField()

from django_pandas.io import read_frame
qs = MyModel.objects.all()
df = read_frame(qs)

Chuyển đổi bộ truy vấn trên danh sách giá trị () sẽ tiết kiệm bộ nhớ hơn trên giá trị () trực tiếp. Vì phương thức giá trị () trả về một tập hợp truy vấn gồm danh sách các cặp dict (khóa: giá trị), nên giá trị_list () chỉ trả về danh sách các tuple (dữ liệu thuần túy). Nó sẽ tiết kiệm khoảng 50% bộ nhớ, chỉ cần thiết lập thông tin cột khi bạn gọi pd.DataFrame ().

Phương pháp 1:
    queryset = models.xxx.objects.values ​​("A", "B", "C", "D")
    df = pd.DataFrame (list (queryset)) ## ngốn nhiều bộ nhớ
    #df = pd.DataFrame.from_records (queryset) ## hoạt động nhưng không có thay đổi nhiều về mức sử dụng bộ nhớ

Phương pháp 2:
    queryset = models.xxx.objects.values_list ("A", "B", "C", "D")
    df = pd.DataFrame (list (queryset), column = ["A", "B", "C", "D"]) ## điều này sẽ tiết kiệm 50% bộ nhớ
    #df = pd.DataFrame.from_records (bộ câu hỏi, cột = ["A", "B", "C", "D"]) ## Nó không hoạt động. Đã gặp sự cố với kiểu dữ liệu là bộ truy vấn không phải danh sách.

Tôi đã thử nghiệm điều này trên dự án của mình với dữ liệu> 1 triệu hàng, bộ nhớ cao điểm được giảm từ 2G xuống 1G.

Từ quan điểm của Django (tôi không quen thuộc pandas) thì điều này ổn. Mối quan tâm duy nhất của tôi là nếu bạn có một số lượng rất lớn các bản ghi, bạn có thể gặp vấn đề về bộ nhớ. Nếu trường hợp này xảy ra, một cái gì đó dọc theo dòng của trình lặp bộ truy vấn hiệu quả bộ nhớ này sẽ là cần thiết. (Đoạn mã được viết có thể yêu cầu một số viết lại để cho phép bạn sử dụng thông minh .values()).

Bạn có thể sử dụng model_to_dict

import datetime
from django.forms import model_to_dict
pallobjs = [ model_to_dict(pallobj) for pallobj in PalletsManag.objects.filter(estado='APTO_PARA_VENTA')] 
df = pd.DataFrame(pallobjs)
df.head()