Chọn các giá trị duy nhất hoặc khác biệt từ một danh sách trong tập lệnh shell UNIX

Tôi có một tập lệnh ksh trả về một danh sách dài các giá trị, dòng mới được phân tách và tôi chỉ muốn xem các giá trị duy nhất / khác biệt. Có thể làm điều này?

Ví dụ: giả sử đầu ra của tôi là hậu tố tệp trong một thư mục:

tar
gz
java
gz
java
tar
class
class

Tôi muốn xem một danh sách như:

tar
gz
java
class

Bạn có thể muốn xem xét uniqvà sortcác ứng dụng.

./yourscript.ksh | sắp xếp | uniq

(FYI, vâng, sắp xếp là cần thiết trong dòng lệnh này, uniqchỉ loại bỏ các dòng trùng lặp ngay sau nhau)

BIÊN TẬP:

Trái ngược với những gì đã được đăng bởi Aaron Digulla liên quan đến uniqcác tùy chọn dòng lệnh:

Cho đầu vào sau:

lớp học
bình
bình
bình
thùng rác
thùng rác
java

uniq sẽ xuất tất cả các dòng chính xác một lần:

lớp học
bình
thùng rác
java

uniq -d sẽ xuất ra tất cả các dòng xuất hiện nhiều lần và nó sẽ in chúng một lần:

bình
thùng rác

uniq -u sẽ xuất ra tất cả các dòng xuất hiện chính xác một lần và nó sẽ in chúng một lần:

lớp học
java

./script.sh | sort -u

Điều này giống như câu trả lời của monoxide , nhưng ngắn gọn hơn một chút.

Đối với các tập dữ liệu lớn hơn mà việc sắp xếp có thể không mong muốn, bạn cũng có thể sử dụng tập lệnh perl sau:

./yourscript.ksh | perl -ne 'if (!defined $x{$_}) { print $_; $x{$_} = 1; }'

Điều này về cơ bản chỉ cần nhớ mỗi đầu ra dòng để nó không xuất ra lại.

Nó có lợi thế hơn sort | uniqgiải pháp "" ở chỗ không cần sắp xếp trước.

Với zsh bạn có thể làm điều này:

% cat infile 
tar
more than one word
gz
java
gz
java
tar
class
class
zsh-5.0.0[t]% print -l "${(fu)$(<infile)}"
tar
more than one word
gz
java
class

Hoặc bạn có thể sử dụng AWK:

% awk '!_[$0]++' infile    
tar
more than one word
gz
java
class

Đưa chúng qua sortvà uniq. Điều này loại bỏ tất cả các bản sao.

uniq -dchỉ cung cấp các bản sao, chỉ cung cấp các bản sao uniq -uduy nhất (bản sao dải).

Với AWK bạn có thể làm, tôi thấy nó nhanh hơn sắp xếp

 ./yourscript.ksh | awk '!a[$0]++'

Duy nhất, theo yêu cầu, (nhưng không được sắp xếp);
sử dụng ít tài nguyên hệ thống hơn dưới ~ 70 phần tử (như đã được kiểm tra theo thời gian);
được viết để lấy đầu vào từ stdin,
(hoặc sửa đổi và đưa vào tập lệnh khác):
(Bash)

bag2set () {
    # Reduce a_bag to a_set.
    local -i i j n=${#a_bag[@]}
    for ((i=0; i < n; i++)); do
        if [[ -n ${a_bag[i]} ]]; then
            a_set[i]=${a_bag[i]}
            a_bag[i]=$'\0'
            for ((j=i+1; j < n; j++)); do
                [[ ${a_set[i]} == ${a_bag[j]} ]] && a_bag[j]=$'\0'
            done
        fi
    done
}
declare -a a_bag=() a_set=()
stdin="$(</dev/stdin)"
declare -i i=0
for e in $stdin; do
    a_bag[i]=$e
    i=$i+1
done
bag2set
echo "${a_set[@]}"

Tôi nhận được một mẹo tốt hơn để có được các mục không trùng lặp trong một tệp

awk '$0 != x ":FOO" && NR>1 {print x} {x=$0} END {print}' file_name | uniq -f1 -u