Cách xử lý một tệp trong PowerShell từng dòng dưới dạng một luồng

Tôi đang làm việc với một số tệp văn bản nhiều gigabyte và muốn thực hiện một số xử lý luồng trên chúng bằng PowerShell. Đó là công cụ đơn giản, chỉ cần phân tích cú pháp từng dòng và rút ra một số dữ liệu, sau đó lưu trữ nó trong cơ sở dữ liệu.

Thật không may, get-content | %{ whatever($_) }dường như giữ toàn bộ tập hợp các dòng ở giai đoạn này của đường ống trong bộ nhớ. Nó cũng chậm một cách đáng ngạc nhiên, mất rất nhiều thời gian để thực sự đọc hết.

Vì vậy, câu hỏi của tôi gồm hai phần:

1. Làm cách nào để tôi có thể làm cho nó xử lý từng dòng một và không giữ toàn bộ nội dung được lưu vào bộ nhớ? Tôi muốn tránh sử dụng nhiều hợp đồng RAM cho mục đích này.
2. Làm cách nào để làm cho nó chạy nhanh hơn? PowerShell lặp lại trên một get-contenttập lệnh C # có vẻ chậm hơn 100 lần.

Tôi hy vọng có điều gì đó ngu ngốc mà tôi đang làm ở đây, chẳng hạn như thiếu một -LineBufferSizetham số hoặc một cái gì đó ...

Nếu bạn thực sự chuẩn bị làm việc trên các tệp văn bản nhiều gigabyte thì không sử dụng PowerShell. Ngay cả khi bạn tìm ra cách để đọc nó nhanh hơn thì việc xử lý một lượng lớn dòng sẽ bị chậm trong PowerShell và bạn không thể tránh được điều này. Ngay cả các vòng lặp đơn giản cũng đắt tiền, giả sử với 10 triệu lần lặp (khá thực tế trong trường hợp của bạn), chúng tôi có:

# "empty" loop: takes 10 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) {} }

# "simple" job, just output: takes 20 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) { $i } }

# "more real job": 107 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) { $i.ToString() -match '1' } }

CẬP NHẬT: Nếu bạn vẫn không sợ hãi thì hãy thử sử dụng trình đọc .NET:

$reader = [System.IO.File]::OpenText("my.log")
try {
    for() {
        $line = $reader.ReadLine()
        if ($line -eq $null) { break }
        # process the line
        $line
    }
}
finally {
    $reader.Close()
}

CẬP NHẬT 2

Có nhận xét về mã có thể tốt hơn / ngắn hơn. Không có gì sai với mã gốc forvà nó không phải là mã giả. Nhưng biến thể ngắn hơn (ngắn nhất?) Của vòng lặp đọc là

$reader = [System.IO.File]::OpenText("my.log")
while($null -ne ($line = $reader.ReadLine())) {
    $line
}

System.IO.File.ReadLines()là hoàn hảo cho kịch bản này. Nó trả về tất cả các dòng của một tệp, nhưng cho phép bạn bắt đầu lặp lại các dòng ngay lập tức, có nghĩa là nó không phải lưu trữ toàn bộ nội dung trong bộ nhớ.

Yêu cầu .NET 4.0 trở lên.

foreach ($line in [System.IO.File]::ReadLines($filename)) {
    # do something with $line
}

http://msdn.microsoft.com/en-us/library/dd383503.aspx

Nếu bạn muốn sử dụng PowerShell đơn giản, hãy xem đoạn mã dưới đây.

$content = Get-Content C:\Users\You\Documents\test.txt
foreach ($line in $content)
{
    Write-Host $line
}