Bộ sưu tập .NET nào cung cấp tìm kiếm nhanh nhất

Tôi có 60k mặt hàng cần được kiểm tra đối với danh sách tra cứu 20k. Có một đối tượng bộ sưu tập (như List, HashTable) cung cấp một Contains()phương thức cực kỳ nhanh không? Hay tôi sẽ phải tự viết? Nói cách khác, là Contains()phương pháp mặc định chỉ quét từng mục hoặc sử dụng thuật toán tìm kiếm tốt hơn.

foreach (Record item in LargeCollection)
{
    if (LookupCollection.Contains(item.Key))
    {
       // Do something
    }
}

Lưu ý . Danh sách tra cứu đã được sắp xếp.

Trong trường hợp chung nhất, hãy xem xét System.Collections.Generic.HashSetcấu trúc dữ liệu công việc "Chứa" mặc định của bạn, bởi vì phải mất thời gian liên tục để đánh giá Contains.

Câu trả lời thực tế cho "Bộ sưu tập có thể tìm kiếm nhanh nhất là gì" tùy thuộc vào kích thước dữ liệu cụ thể, mức độ đặt hàng, chi phí băm và tần suất tìm kiếm.

Nếu bạn không cần đặt hàng, hãy thử HashSet<Record>(mới .Net 3.5)

Nếu bạn làm, sử dụng một List<Record>và gọi BinarySearch.

Bạn đã xem xét List.BinarySearch(item)chưa?

Bạn nói rằng bộ sưu tập lớn của bạn đã được sắp xếp để đây có vẻ là cơ hội hoàn hảo? Băm chắc chắn sẽ là nhanh nhất, nhưng điều này mang lại những vấn đề của riêng nó và đòi hỏi nhiều chi phí hơn cho việc lưu trữ.

Bạn nên đọc blog này rằng tốc độ đã thử nghiệm một số loại bộ sưu tập và phương pháp khác nhau cho từng loại bằng cách sử dụng cả kỹ thuật đơn và đa luồng.

Theo kết quả, BinarySearch trong Danh sách và Sắp xếp danh sách là những người biểu diễn hàng đầu liên tục chạy cổ khi tìm kiếm thứ gì đó như một "giá trị".

Khi sử dụng một bộ sưu tập cho phép "khóa", Từ điển, Đồng thời Từ điển, Hashset và HashTables thực hiện tổng thể tốt nhất.

Giữ cả hai danh sách x và y theo thứ tự sắp xếp.

Nếu x = y, hãy thực hiện hành động của bạn, nếu x <y, tiến x, nếu y <x, tiến y cho đến khi một trong hai danh sách trống.

Thời gian chạy của giao lộ này tỷ lệ với min (kích thước (x), kích thước (y))

Đừng chạy vòng lặp .Contains (), tỷ lệ này với x * y tệ hơn nhiều.

Nếu có thể sắp xếp các mục của bạn thì có một cách nhanh hơn để làm điều này sau đó thực hiện tra cứu chính thành một hashtable hoặc b-tree. Mặc dù nếu các mặt hàng của bạn không thể sắp xếp, bạn thực sự không thể đặt chúng vào cây b.

Dù sao, nếu có thể sắp xếp cả hai danh sách thì đó chỉ là vấn đề đi theo danh sách tra cứu theo thứ tự.

Walk lookup list
   While items in check list <= lookup list item
     if check list item = lookup list item do something
   Move to next lookup list item

Nếu bạn đang sử dụng .Net 3.5, bạn có thể tạo mã sạch hơn bằng cách sử dụng:

foreach (Record item in LookupCollection.Intersect(LargeCollection))
{
  //dostuff
}

Tôi không có .Net 3.5 ở đây và vì vậy điều này chưa được kiểm tra. Nó dựa vào một phương pháp mở rộng. Không phải LookupCollection.Intersect(LargeCollection)là có lẽ không giống như LargeCollection.Intersect(LookupCollection)... cái sau có lẽ chậm hơn nhiều.

Giả định này Tra cứu là một HashSet

Nếu bạn không lo lắng về việc rít lên từng chút hiệu suất cuối cùng, đề xuất sử dụng Hashset hoặc tìm kiếm nhị phân là vững chắc. Các bộ dữ liệu của bạn không đủ lớn để điều này sẽ trở thành vấn đề 99%.

Nhưng nếu điều này chỉ là một trong hàng ngàn lần bạn sẽ làm điều này và hiệu suất là rất quan trọng (và được chứng minh là không thể chấp nhận được bằng cách sử dụng tìm kiếm Hashset / nhị phân), bạn chắc chắn có thể viết thuật toán của riêng mình để đưa các danh sách được sắp xếp thực hiện so sánh khi bạn đi. Mỗi danh sách sẽ được chuyển đi nhiều nhất một lần và trong các trường hợp bệnh lý sẽ không tệ (một khi bạn đã đi theo con đường này, bạn có thể thấy rằng sự so sánh, giả sử đó là một chuỗi hoặc giá trị không tách rời khác, sẽ là chi phí thực sự và tối ưu hóa đó sẽ là bước tiếp theo).