Biểu thức máy phát điện so với danh sách hiểu

Khi nào bạn nên sử dụng biểu thức trình tạo và khi nào bạn nên sử dụng tính năng hiểu danh sách trong Python?

# Generator expression
(x*2 for x in range(256))

# List comprehension
[x*2 for x in range(256)]

Câu trả lời của John là tốt (danh sách đó hiểu tốt hơn khi bạn muốn lặp đi lặp lại nhiều thứ). Tuy nhiên, cũng đáng lưu ý rằng bạn nên sử dụng một danh sách nếu bạn muốn sử dụng bất kỳ phương pháp danh sách nào. Ví dụ: đoạn mã sau sẽ không hoạt động:

def gen():
    return (something for something in get_some_stuff())

print gen()[:2]     # generators don't support indexing or slicing
print [5,6] + gen() # generators can't be added to lists

Về cơ bản, sử dụng biểu thức trình tạo nếu tất cả những gì bạn đang làm là lặp lại một lần. Nếu bạn muốn lưu trữ và sử dụng các kết quả đã tạo, thì có lẽ bạn nên tìm hiểu danh sách.

Vì hiệu suất là lý do phổ biến nhất để chọn cái này hơn cái kia, lời khuyên của tôi là đừng lo lắng về nó và chỉ chọn một cái; nếu bạn thấy rằng chương trình của bạn chạy quá chậm, thì và sau đó bạn nên quay lại và lo lắng về việc điều chỉnh mã của mình.

Lặp lại biểu thức trình tạo hoặc hiểu danh sách sẽ làm điều tương tự. Tuy nhiên, việc hiểu danh sách sẽ tạo toàn bộ danh sách trong bộ nhớ trước trong khi biểu thức trình tạo sẽ tạo các mục một cách nhanh chóng, do đó bạn có thể sử dụng nó cho các chuỗi rất lớn (và cả vô hạn!).

Sử dụng hiểu danh sách khi kết quả cần phải được lặp đi lặp lại nhiều lần hoặc trong đó tốc độ là tối quan trọng. Sử dụng các biểu thức trình tạo trong đó phạm vi lớn hoặc vô hạn.

Xem biểu thức máy phát điện và danh sách hiểu để biết thêm.

Điểm quan trọng là việc hiểu danh sách tạo ra một danh sách mới. Trình tạo tạo một đối tượng có thể lặp lại sẽ "lọc" vật liệu nguồn đang hoạt động khi bạn tiêu thụ các bit.

Hãy tưởng tượng bạn có một tệp nhật ký 2TB có tên là "hugefile.txt" và bạn muốn nội dung và độ dài cho tất cả các dòng bắt đầu bằng từ "ENTRY".

Vì vậy, bạn hãy thử bắt đầu bằng cách viết một danh sách hiểu:

logfile = open("hugefile.txt","r")
entry_lines = [(line,len(line)) for line in logfile if line.startswith("ENTRY")]

Điều này làm mờ toàn bộ tệp, xử lý từng dòng và lưu trữ các dòng khớp trong mảng của bạn. Do đó, mảng này có thể chứa tới 2TB nội dung. Đó là rất nhiều RAM, và có lẽ không thực tế cho mục đích của bạn.

Vì vậy, thay vào đó chúng ta có thể sử dụng trình tạo để áp dụng "bộ lọc" cho nội dung của mình. Không có dữ liệu thực sự được đọc cho đến khi chúng tôi bắt đầu lặp lại kết quả.

logfile = open("hugefile.txt","r")
entry_lines = ((line,len(line)) for line in logfile if line.startswith("ENTRY"))

Thậm chí không có một dòng nào được đọc từ tệp của chúng tôi. Trong thực tế, giả sử chúng tôi muốn lọc kết quả của chúng tôi hơn nữa:

long_entries = ((line,length) for (line,length) in entry_lines if length > 80)

Vẫn chưa có gì được đọc, nhưng chúng tôi đã chỉ định hai trình tạo sẽ hoạt động trên dữ liệu của chúng tôi như chúng tôi muốn.

Hãy viết ra các dòng được lọc của chúng tôi vào một tệp khác:

outfile = open("filtered.txt","a")
for entry,length in long_entries:
    outfile.write(entry)

Bây giờ chúng tôi đọc các tập tin đầu vào. Khi forvòng lặp của chúng tôi tiếp tục yêu cầu các dòng bổ sung, trình long_entriestạo yêu cầu các dòng từ trình entry_linestạo, chỉ trả về những dòng có độ dài lớn hơn 80 ký tự. Và lần lượt, trình entry_linestạo yêu cầu các dòng (được lọc như được chỉ định) từ logfileiterator, lần lượt đọc tệp.

Vì vậy, thay vì "đẩy" dữ liệu đến chức năng đầu ra của bạn dưới dạng danh sách được điền đầy đủ, bạn sẽ cung cấp cho chức năng đầu ra một cách để "kéo" dữ liệu khi cần. Đây là trường hợp của chúng tôi hiệu quả hơn nhiều, nhưng không hoàn toàn linh hoạt. Máy phát điện là một chiều, một lượt; dữ liệu từ tệp nhật ký chúng tôi đã đọc sẽ bị loại bỏ ngay lập tức, vì vậy chúng tôi không thể quay lại dòng trước đó. Mặt khác, chúng tôi không phải lo lắng về việc giữ dữ liệu xung quanh một khi chúng tôi đã hoàn thành việc đó.

Lợi ích của biểu thức trình tạo là nó sử dụng ít bộ nhớ hơn vì nó không tạo toàn bộ danh sách cùng một lúc. Các biểu thức của trình tạo được sử dụng tốt nhất khi danh sách là một trung gian, chẳng hạn như tổng hợp các kết quả hoặc tạo ra một lệnh ra khỏi kết quả.

Ví dụ:

sum(x*2 for x in xrange(256))

dict( (k, some_func(k)) for k in some_list_of_keys )

Ưu điểm ở đây là danh sách không được tạo hoàn toàn và do đó ít bộ nhớ được sử dụng (và cũng nên nhanh hơn)

Tuy nhiên, bạn nên sử dụng danh sách hiểu khi sản phẩm cuối cùng mong muốn là một danh sách. Bạn sẽ không lưu bất kỳ memeory nào bằng các biểu thức của trình tạo, vì bạn muốn danh sách được tạo. Bạn cũng nhận được lợi ích của việc có thể sử dụng bất kỳ chức năng nào trong danh sách như được sắp xếp hoặc đảo ngược.

Ví dụ:

reversed( [x*2 for x in xrange(256)] )

Khi tạo trình tạo từ một đối tượng có thể thay đổi (như danh sách), hãy lưu ý rằng trình tạo sẽ được đánh giá theo trạng thái của danh sách tại thời điểm sử dụng trình tạo, chứ không phải tại thời điểm tạo trình tạo:

>>> mylist = ["a", "b", "c"]
>>> gen = (elem + "1" for elem in mylist)
>>> mylist.clear()
>>> for x in gen: print (x)
# nothing

Nếu có bất kỳ cơ hội nào danh sách của bạn bị sửa đổi (hoặc một đối tượng có thể thay đổi trong danh sách đó) nhưng bạn cần trạng thái khi tạo trình tạo, bạn cần sử dụng cách hiểu danh sách thay thế.

Đôi khi bạn có thể thoát khỏi chức năng tee từ itertools , nó trả về nhiều trình lặp cho cùng một trình tạo có thể được sử dụng độc lập.

Tôi đang sử dụng mô-đun Hadoop Mincemeat . Tôi nghĩ rằng đây là một ví dụ tuyệt vời để ghi chú về:

import mincemeat

def mapfn(k,v):
    for w in v:
        yield 'sum',w
        #yield 'count',1


def reducefn(k,v): 
    r1=sum(v)
    r2=len(v)
    print r2
    m=r1/r2
    std=0
    for i in range(r2):
       std+=pow(abs(v[i]-m),2)  
    res=pow((std/r2),0.5)
    return r1,r2,res

Tại đây, trình tạo sẽ lấy các số trong tệp văn bản (lớn nhất là 15 GB) và áp dụng phép toán đơn giản cho các số đó bằng cách sử dụng bản đồ giảm của Hadoop. Nếu tôi không sử dụng hàm sản lượng, nhưng thay vào đó là việc hiểu danh sách, thì sẽ mất nhiều thời gian hơn để tính tổng và trung bình (không đề cập đến độ phức tạp của không gian).

Hadoop là một ví dụ tuyệt vời cho việc sử dụng tất cả các lợi thế của Máy phát điện.