Làm thế nào là uniq không đủ độc đáo mà còn có uniq --unique?

Dưới đây là các lệnh trên một tệp ngẫu nhiên từ pastebin :

wget -qO - http://pastebin.com/0cSPs9LR | wc -l
350
wget -qO - http://pastebin.com/0cSPs9LR | sort -u | wc -l
287
wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq | wc -l
287
wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq -u | wc -l
258

Các trang người đàn ông không rõ ràng về những gì -ucờ đang làm. Có lời khuyên nào không?

Phiên bản ngắn:

• uniq, không có -u, làm cho mỗi dòng đầu ra là duy nhất.
• uniq -uchỉ in mỗi dòng duy nhất từ đầu vào .

Phiên bản dài hơn một chút:

uniqlà để xử lý các tệp có các dòng trùng lặp và chỉ khi các dòng đó xuất hiện liên tiếp trong đầu vào. Vì vậy, với mục đích của nó, một dòng duy nhất là một dòng không bị trùng lặp ngay lập tức.

( uniqcó bộ nhớ ngắn hạn rất hạn chế; nó sẽ không bao giờ nhớ liệu một dòng xuất hiện sớm hơn trong đầu vào hay không, trừ khi đó là dòng ngay trước đó - đây là lý do tại sao uniqrất thường được ghép nối với sort.)

Khi nó gặp phải một dòng trùng lặp uniq, không có đối số -u, sẽ in một bản sao của dòng đó. (Nó làm cho mỗi dòng của đầu ra là duy nhất ).

Với -ulập luận, nó in zero bản sao của dòng đó - chạy các bản sao chỉ được bỏ qua từ đầu ra.

uniqvới -ubỏ qua bất kỳ dòng nào có trùng lặp. Như vậy:

$ printf "%s\n" 1 1 2 3 | uniq
1
2
3
$ printf "%s\n" 1 1 2 3 | uniq -u
2
3

Thông thường, uniqin các dòng nhiều nhất một lần (giả sử đầu vào được sắp xếp). Tùy chọn này thực sự in các dòng thực sự độc đáo (không xuất hiện lại).

thông số kỹ thuật POSIX uniq mô tả rõ ràng:

-u
    Suppress the writing of lines that are repeated in the input.

-utùy chọn uniqkhông in các dòng lặp lại.

Hầu hết các uniqtriển khai đã sử dụng so sánh byte, trong khi GNU uniqsử dụng thứ tự đối chiếu để lọc các dòng trùng lặp. Vì vậy, nó có thể tạo ra kết quả sai ở một số địa phương, ví dụ tại en_US.UTF-8miền địa phương:

$ printf '%b\n' '\U2460' '\U2461' | uniq
①

và không -ucho bạn dòng nào:

$ printf '%b\n' '\U2460' '\U2461' | uniq -u
<blank>

Vì vậy, bạn nên đặt miền địa phương Cđể lấy byte so sánh:

$ printf '%b\n' '\U2460' '\U2461' | LC_ALL=C uniq
①
②

bình thường:

echo "a b a b c c c" | tr ' ' '\n'
a
b
a
b
c
c
c

uniq: không có hai dòng lặp lại tiếp theo

echo "a b a b c c c" | tr ' ' '\n' | uniq
a
b
a
b
c

đã sắp xếp

echo "a b a b c c c" | tr ' ' '\n' | sort
a
a
b
b
c
c
c

sort -u: không có hai dòng lặp lại

echo "a b a b c c c" | tr ' ' '\n' | sort -u
a
b
c

sort / uniq: tất cả khác biệt

echo "a b a b c c c" | tr ' ' '\n' | sort | uniq
a
b
c

đếm sự xuất hiện khác biệt

echo "a b a b c c c" | tr ' ' '\n' | sort | uniq -c
2 a
2 b
3 c

chỉ những dòng không được lặp lại (không được sắp xếp trước)

echo "a b a b c c c" | tr ' ' '\n' | uniq -u
a
b
a
b

chỉ những dòng không được lặp lại (sau khi sắp xếp)

echo "a b a b c c c Z" | tr ' ' '\n' | sort | uniq -u
Z

uniq -d: chỉ in các dòng trùng lặp, một dòng cho mỗi nhóm

echo "a b a b c c c" | tr ' ' '\n' | uniq -d
c

.. đã tính

echo "a b a b c c c" | tr ' ' '\n' | uniq -dc
3 c