LINQ có yêu cầu nhiều chu kỳ xử lý và bộ nhớ hơn so với các kỹ thuật lặp dữ liệu cấp thấp hơn không?

Lý lịch

Gần đây tôi đang trong quá trình thực hiện các cuộc phỏng vấn công nghệ mệt mỏi cho các vị trí sử dụng ngăn xếp .NET, một số trong đó bao gồm các câu hỏi ngớ ngẩn như câu hỏi này và một số câu hỏi có giá trị hơn. Gần đây tôi đã gặp một vấn đề có thể hợp lệ nhưng tôi muốn kiểm tra với cộng đồng ở đây để chắc chắn.

Khi được một người phỏng vấn hỏi tôi sẽ đếm tần số từ trong tài liệu văn bản và xếp hạng kết quả như thế nào, tôi đã trả lời rằng tôi sẽ

1. Sử dụng một đối tượng luồng đặt tệp văn bản vào bộ nhớ dưới dạng chuỗi.
2. Chia chuỗi thành một mảng trên khoảng trắng trong khi bỏ qua dấu chấm câu.
3. Sử dụng LINQ dựa vào mảng để .GroupBy()và .Count()sau đó OrderBy()đếm.

Tôi đã trả lời sai vì hai lý do:

1. Truyền toàn bộ tệp văn bản vào bộ nhớ có thể là thảm họa. Nếu đó là toàn bộ bách khoa toàn thư thì sao? Thay vào đó, tôi nên phát trực tiếp một khối tại một thời điểm và bắt đầu xây dựng bảng băm.
2. LINQ quá đắt và đòi hỏi quá nhiều chu trình xử lý. Tôi nên đã xây dựng một bảng băm thay thế và, với mỗi lần lặp, chỉ thêm một từ vào bảng băm nếu nó không tồn tại và sau đó tăng nó lên.

Lý do đầu tiên có vẻ, tốt, hợp lý. Nhưng thứ hai cho tôi thêm tạm dừng. Tôi nghĩ rằng một trong những điểm bán hàng của LINQ là nó chỉ đơn giản là trừu tượng hóa các hoạt động cấp thấp hơn như bảng băm, nhưng, dưới tấm màn che, nó vẫn là cách thực hiện tương tự.

Câu hỏi

Bên cạnh một vài chu kỳ xử lý bổ sung để gọi bất kỳ phương pháp trừu tượng, không đòi hỏi LINQ đáng kể chế biến nhiều chu kỳ để hoàn thành một nhiệm vụ lặp dữ liệu nhất định so với một nhiệm vụ cấp thấp hơn (chẳng hạn như việc xây dựng một bảng băm) sẽ?

Tôi muốn nói rằng điểm yếu chính của câu trả lời này là việc sử dụng Linq ít hơn và nhiều nhà khai thác cụ thể được chọn. GroupByđưa từng yếu tố và chiếu nó vào một khóa và một giá trị đi vào tra cứu. Nói cách khác, mỗi từ sẽ thêm một cái gì đó để tra cứu.

Việc triển khai ngây thơ .GroupBy(e => e)sẽ lưu trữ một bản sao của mỗi từ trong tài liệu nguồn, làm cho việc tra cứu cuối cùng gần như lớn bằng tài liệu gốc. Ngay cả khi chúng tôi chiếu ra giá trị với việc .GroupBy(e => e, e => null)chúng tôi tạo ra một tra cứu lớn các giá trị nhỏ.

Những gì chúng ta muốn là một toán tử chỉ lưu giữ thông tin cần thiết, đó là một bản sao của mỗi từ và số lượng của từ đó cho đến nay. Đối với điều đó, chúng ta có thể sử dụng Aggregate:

words.Aggregate(new Dictionary<string, int>(), (counts, word) => 
{
    int currentCount;
    counts.TryGetValue(word, currentCount);
    counts[word] = currentCount + 1;
    return counts;
} 

Từ đây, có một số cách chúng ta có thể cố gắng để làm điều này nhanh hơn:

1. Thay vì tạo nhiều chuỗi trong khi phân tách, chúng ta có thể chuyển qua các cấu trúc tham chiếu chuỗi gốc và phân đoạn có chứa từ đó và chỉ sao chép phân đoạn ra khi nó trở thành một khóa duy nhất
2. Sử dụng Parallel Linq để tổng hợp trên một số lõi sau đó kết hợp các kết quả . Điều này là không đáng kể so với công việc chân cần thiết để làm điều này bằng tay.

Tôi nghĩ rằng bạn đã có một lối thoát hẹp, người phỏng vấn không thực sự biết anh ta đang nói về cái gì. Thậm chí tệ hơn, anh tin rằng có một câu trả lời "đúng". Nếu anh ấy là người mà bạn muốn làm việc, tôi mong anh ấy sẽ trả lời ban đầu của bạn, tìm hiểu lý do tại sao bạn chọn nó, và sau đó thách thức bạn làm cho nó tốt hơn nếu anh ấy có thể tìm ra vấn đề với nó.

LINQ khiến mọi người sợ hãi vì nó trông giống như ma thuật. Nó thực sự rất đơn giản (Đơn giản đến mức bạn cần trở thành một thiên tài để tìm ra nó)

var result = from item in collection where item=>item.Property > 3 select item;

Được tổng hợp thành:

IEnumerable<itemType> result = collection.Where(item=>item.property >3);

(Xin đừng hét nếu tôi mắc lỗi cú pháp, đó là sau nửa đêm và tôi đang ở trên giường :))

Đâu là một phương thức mở rộng trên IEnumerable trong đó có lambda. Lambda chỉ đơn giản là (trong trường hợp này) được biên dịch cho một đại biểu:

bool AMethod(ItemType item)
{
    return item.property >3;
}

Phương thức Where chỉ đơn giản là thêm TẤT CẢ các mục của mục trong đó AMethod trả về giá trị true cho bộ sưu tập được trả về.

Không có lý do nào có thể chậm hơn việc thực hiện một foreach và thêm tất cả các mục phù hợp vào một bộ sưu tập trong vòng lặp đó. Trong thực tế, phương thức mở rộng có lẽ đang làm điều đó. Phép thuật thực sự đến khi bạn cần tiêm một tiêu chí thay thế.

Như tôi đã đề cập ở trên trong nhận xét của tôi, một số ví dụ được liên kết là rất sai. Và đó là loại thông tin sai lệch gây ra vấn đề.

Cuối cùng, nếu cuộc phỏng vấn đã cho bạn một cơ hội, bạn có thể nói rằng:

• LINQ rất dễ đọc, đặc biệt là nơi bạn bắt đầu giới thiệu các dự đoán và nhóm thú vị. Mã dễ đọc là dễ dàng [y | ier] để duy trì mã là một chiến thắng.

• Sẽ thực sự dễ dàng để đo lường hiệu suất nếu nó thực sự là một nút cổ chai và thay thế nó bằng một cái gì đó khác.