Tôi có khoảng 10 triệu giá trị mà tôi cần phải đặt trong một số loại nhìn lên bảng, vì vậy tôi đã tự hỏi đó sẽ là một hiệu quả hơn danh sách hoặc dict ?

Tôi biết bạn có thể làm một cái gì đó như thế này cho cả hai:

if something in dict_of_stuff:
    pass

và

if something in list_of_stuff:
    pass

Tôi nghĩ rằng dict sẽ nhanh hơn và hiệu quả hơn.

Cảm ơn bạn đã giúp đỡ.

EDIT 1
Thông tin thêm về những gì tôi đang cố gắng làm. Bài toán Euler 92 . Tôi đang tạo một bảng tra cứu để xem liệu một giá trị được tính đã sẵn sàng chưa.

EDIT 2
Hiệu quả để tra cứu.

EDIT 3
Không có giá trị nào được xác định bằng giá trị ... vậy một tập hợp sẽ tốt hơn?

Tốc độ

Tra cứu trong danh sách là O (n), tra cứu trong từ điển được khấu hao O (1), liên quan đến số lượng mục trong cấu trúc dữ liệu. Nếu bạn không cần liên kết các giá trị, hãy sử dụng các bộ.

Ký ức

Cả từ điển và bộ đều sử dụng băm và chúng sử dụng nhiều bộ nhớ hơn chỉ để lưu trữ đối tượng. Theo AM Kuchling trong Beautiful Code , việc triển khai cố gắng giữ băm 2/3 đầy đủ, do đó bạn có thể lãng phí khá nhiều bộ nhớ.

Nếu bạn không thêm các mục mới một cách nhanh chóng (mà bạn làm, dựa trên câu hỏi được cập nhật của bạn), có thể đáng để sắp xếp danh sách và sử dụng tìm kiếm nhị phân. Đây là O (log n) và có khả năng chậm hơn đối với các chuỗi, không thể đối với các đối tượng không có thứ tự tự nhiên.

Một dict là một bảng băm, vì vậy nó rất nhanh để tìm các khóa. Vì vậy, giữa dict và list, dict sẽ nhanh hơn. Nhưng nếu bạn không có giá trị để liên kết, sử dụng một bộ thậm chí còn tốt hơn. Nó là một bảng băm, không có phần "bảng".

EDIT: cho câu hỏi mới của bạn, CÓ, một bộ sẽ tốt hơn. Chỉ cần tạo 2 bộ, một cho các chuỗi kết thúc bằng 1 và một cho các chuỗi kết thúc vào năm 89. Tôi đã giải quyết thành công vấn đề này bằng cách sử dụng các bộ.

set()chính xác là những gì bạn muốn. O (1) tra cứu, và nhỏ hơn một lệnh.

Tôi đã thực hiện một số điểm chuẩn và hóa ra dict nhanh hơn cả danh sách và được đặt cho các tập dữ liệu lớn, chạy python 2.7.3 trên CPU i7 trên linux:

• python -mtimeit -s 'd=range(10**7)' '5*10**6 in d'

  10 vòng, tốt nhất là 3: 64,2 msec mỗi vòng

• python -mtimeit -s 'd=dict.fromkeys(range(10**7))' '5*10**6 in d'

  10000000 vòng, tốt nhất là 3: 0,0759 usec mỗi vòng

• python -mtimeit -s 'from sets import Set; d=Set(range(10**7))' '5*10**6 in d'

  1000000 vòng, tốt nhất là 3: 0,262 usec mỗi vòng

Như bạn có thể thấy, dict nhanh hơn đáng kể so với danh sách và nhanh hơn khoảng 3 lần so với thiết lập. Tuy nhiên, trong một số ứng dụng, bạn vẫn có thể muốn chọn thiết lập cho vẻ đẹp của nó. Và nếu các tập dữ liệu thực sự nhỏ (<1000 phần tử) thì danh sách hoạt động khá tốt.

Bạn muốn một lệnh.

Đối với danh sách (chưa được sắp xếp) trong Python, thao tác "trong" yêu cầu thời gian O (n) --- không tốt khi bạn có một lượng lớn dữ liệu. Mặt khác, một dict là một bảng băm, vì vậy bạn có thể mong đợi thời gian tra cứu O (1).

Như những người khác đã lưu ý, thay vào đó, bạn có thể chọn một bộ (một loại chính tả đặc biệt), nếu bạn chỉ có các khóa thay vì các cặp khóa / giá trị.

Liên quan:

• Python wiki : thông tin về độ phức tạp thời gian của các hoạt động chứa Python.
• SO : Thời gian hoạt động của bộ chứa Python và độ phức tạp bộ nhớ

nếu dữ liệu là tập duy nhất () sẽ hiệu quả nhất, nhưng là hai - dict (cũng đòi hỏi tính duy nhất, rất tiếc :)

Như một bộ thử nghiệm mới để hiển thị @ EriF89 vẫn đúng sau tất cả những năm này:

$ python -m timeit -s "l={k:k for k in xrange(5000)}"    "[i for i in xrange(10000) if i in l]"
1000 loops, best of 3: 1.84 msec per loop
$ python -m timeit -s "l=[k for k in xrange(5000)]"    "[i for i in xrange(10000) if i in l]"
10 loops, best of 3: 573 msec per loop
$ python -m timeit -s "l=tuple([k for k in xrange(5000)])"    "[i for i in xrange(10000) if i in l]"
10 loops, best of 3: 587 msec per loop
$ python -m timeit -s "l=set([k for k in xrange(5000)])"    "[i for i in xrange(10000) if i in l]"
1000 loops, best of 3: 1.88 msec per loop

Ở đây chúng tôi cũng so sánh a tuple, được biết là nhanh hơn lists(và sử dụng ít bộ nhớ hơn) trong một số trường hợp sử dụng. Trong trường hợp bảng tra cứu, tuplefaired không tốt hơn.

Cả dictvà setthực hiện rất tốt. Điều này mang đến một điểm thú vị khi đưa vào câu trả lời @SilentGhost về tính duy nhất: nếu OP có 10M giá trị trong một tập dữ liệu và không biết có trùng lặp trong đó hay không, thì sẽ đáng để giữ song song một tập hợp / các phần tử của nó với tập dữ liệu thực tế và kiểm tra sự tồn tại trong tập / dict đó. Có thể các điểm dữ liệu 10 triệu chỉ có 10 giá trị duy nhất, đó là một không gian nhỏ hơn nhiều để tìm kiếm!

Sai lầm của SilentGhost về các dicts thực sự đang phát sáng vì người ta có thể sử dụng một lệnh để tương quan dữ liệu trùng lặp (trong các giá trị) thành một tập hợp không trùng lặp (các khóa) và do đó giữ một đối tượng dữ liệu để giữ tất cả dữ liệu, nhưng vẫn nhanh như một bảng tra cứu. Ví dụ: khóa dict có thể là giá trị được tra cứu và giá trị có thể là danh sách các chỉ mục trong danh sách tưởng tượng nơi giá trị đó xảy ra.

Ví dụ: nếu danh sách dữ liệu nguồn cần tìm kiếm l=[1,2,3,1,2,1,4], nó có thể được tối ưu hóa cho cả tìm kiếm và bộ nhớ bằng cách thay thế nó bằng lệnh này:

>>> from collections import defaultdict
>>> d = defaultdict(list)
>>> l=[1,2,3,1,2,1,4]
>>> for i, e in enumerate(l):
...     d[e].append(i)
>>> d
defaultdict(<class 'list'>, {1: [0, 3, 5], 2: [1, 4], 3: [2], 4: [6]})

Với chính tả này, người ta có thể biết:

1. Nếu một giá trị nằm trong tập dữ liệu gốc (nghĩa là 2 in dtrả về True)
2. Trường hợp giá trị nằm trong tập dữ liệu gốc (nghĩa là d[2]trả về danh sách các chỉ mục nơi dữ liệu được tìm thấy trong danh sách dữ liệu gốc [1, 4]:)

Bạn thực sự không cần lưu trữ 10 triệu giá trị trong bảng, vì vậy đó cũng không phải là vấn đề lớn.

Gợi ý: suy nghĩ về kết quả của bạn có thể lớn đến mức nào sau tổng hoạt động bình phương đầu tiên. Kết quả lớn nhất có thể sẽ nhỏ hơn 10 triệu ...