Entity Framework Core truyền dữ liệu blob lớn mà không bị tràn bộ nhớ, thực hành tốt nhất

Tôi đang viết mã đi qua một lượng lớn dữ liệu hình ảnh, chuẩn bị một khối delta lớn chứa tất cả được nén để gửi.

Đây là một ví dụ về cách dữ liệu này có thể

[MessagePackObject]
public class Blob : VersionEntity
{
    [Key(2)]
    public Guid Id { get; set; }
    [Key(3)]
    public DateTime CreatedAt { get; set; }
    [Key(4)]
    public string Mediatype { get; set; }
    [Key(5)]
    public string Filename { get; set; }
    [Key(6)]
    public string Comment { get; set; }
    [Key(7)]
    public byte[] Data { get; set; }
    [Key(8)]
    public bool IsTemporarySmall { get; set; }
}

public class BlobDbContext : DbContext
{
    public DbSet<Blob> Blob { get; set; }

    protected override void OnModelCreating(ModelBuilder modelBuilder)
    {
        modelBuilder.Entity<Blob>().HasKey(o => o.Id);
    }
}

Khi làm việc với điều này, tôi xử lý mọi thứ thành một đoạn phim và tôi muốn lưu giữ ít nhất có thể trong bộ nhớ tại bất kỳ thời điểm nào.

Có đủ để làm điều đó như thế này?

foreach(var b in context.Where(o => somefilters).AsNoTracking())
    MessagePackSerializer.Serialize(stream, b);

Điều này sẽ vẫn lấp đầy bộ nhớ với tất cả các bản ghi blob, hoặc chúng sẽ được xử lý từng cái một khi tôi lặp lại trên bảng liệt kê. Nó không sử dụng bất kỳ ToList nào, chỉ có điều tra viên, vì vậy Entity Framework sẽ có thể xử lý nó khi đang di chuyển, nhưng tôi không chắc đó có phải là điều không.

Bất kỳ chuyên gia Khung thực thể nào ở đây, những người có thể đưa ra một số hướng dẫn về cách xử lý việc này đúng cách.

Nói chung khi bạn tạo bộ lọc LINQ trên Thực thể, nó giống như viết một câu lệnh SQL ở dạng mã. Nó trả về một IQueryablecái mà chưa thực sự chống lại cơ sở dữ liệu. Khi bạn lặp lại IQueryablebằng một foreachhoặc gọi ToList()thì sql được thực thi và tất cả các kết quả được trả về và được lưu trong bộ nhớ.

https://docs.microsoft.com/en-us/dotnet/framework/data/adonet/ef/lingu-reference/query-execut

Mặc dù EF có thể không phải là lựa chọn tốt nhất cho hiệu năng thuần túy, có một cách tương đối đơn giản để xử lý việc này mà không phải lo lắng quá nhiều về việc sử dụng bộ nhớ:

Hãy xem xét những điều sau đây

var filteredIds = BlobDbContext.Blobs
                      .Where(b => b.SomeProperty == "SomeValue")
                      .Select(x => x.Id)
                      .ToList();

Bây giờ bạn đã lọc các Blobs theo yêu cầu của bạn và thực hiện điều này đối với cơ sở dữ liệu, nhưng chỉ trả về các giá trị Id trong bộ nhớ.

Sau đó

foreach (var id in filteredIds)
{
    var blob = BlobDbContext.Blobs.AsNoTracking().Single(x => x.Id == id);
    // Do your work here against a single in-memory blob
}

Các blob lớn nên có sẵn để thu gom rác sau khi bạn hoàn thành nó và bạn không nên hết bộ nhớ.

Rõ ràng bạn có thể kiểm tra ý nghĩa số lượng bản ghi trong danh sách id hoặc bạn có thể thêm siêu dữ liệu vào truy vấn đầu tiên để giúp bạn quyết định cách xử lý nếu bạn muốn tinh chỉnh ý tưởng.