Kiểm tra tất cả các dòng của một tệp là duy nhất

Tôi có một tệp văn bản chứa các dòng như thế này:

This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
.
.
.
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520

Làm thế nào tôi có thể chắc chắn về tính độc đáo của mỗi dòng?

LƯU Ý: Mục tiêu là kiểm tra tệp, không sửa đổi tệp nếu có dòng trùng lặp.

[ "$(wc -l < input)" -eq "$(sort -u input | wc -l)" ] && echo all unique

Giải pháp Awk:

awk 'a[$0]++{print "dupes"; exit(1)}' file && echo "no dupes"

Sử dụng sort/ uniq:

sort input.txt | uniq

Để chỉ kiểm tra các dòng trùng lặp, hãy sử dụng -dtùy chọn cho uniq. Điều này sẽ chỉ hiển thị các dòng trùng lặp, nếu không nó sẽ không hiển thị:

sort input.txt | uniq -d

TLD

Câu hỏi ban đầu không rõ ràng và đọc rằng OP chỉ muốn một phiên bản duy nhất của nội dung của một tệp. Điều đó được hiển thị dưới đây. Trong dạng cập nhật của câu hỏi, OP hiện đang tuyên bố rằng anh ấy / cô ấy chỉ muốn biết liệu nội dung của tệp có phải là duy nhất hay không.

Kiểm tra xem nội dung của tệp có duy nhất hay không

Bạn chỉ có thể sử dụng sortđể xác minh xem một tệp là duy nhất hoặc chứa các bản sao như vậy:

$ sort -uC input.txt && echo "unique" || echo "duplicates"

Thí dụ

Nói rằng tôi có hai tệp này:

$ cat dup_input.txt
This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520

$  cat uniq_input.txt
A
B
C
D

Bây giờ khi chúng tôi phân tích các tệp này, chúng tôi có thể biết chúng là duy nhất hoặc chứa các bản sao:

$ sort -uC dup_input.txt && echo "unique" || echo "duplicates"
duplicates

$ sort -uC uniq_input.txt && echo "unique" || echo "duplicates"
unique

Câu hỏi gốc (nội dung duy nhất của tệp)

Có thể được thực hiện chỉ với sort:

$ sort -u input.txt
This is a thread  139737186379520
This is a thread  139737194772224
This is a thread  139737203164928
This is a thread  139737312270080
This is a thread  139737505302272
This is a thread  139737513694976
This is a thread  139737522087680

Tôi thường sortlà tập tin, sau đó sử dụng uniqđể đếm số lượng trùng lặp, sau đó tôi sortlại thấy các bản sao ở cuối danh sách.

Tôi đã thêm một bản sao vào các ví dụ bạn cung cấp:

$ sort thread.file | uniq -c | sort
      1 This is a thread  139737186379520
      1 This is a thread  139737194772224
      1 This is a thread  139737203164928
      1 This is a thread  139737312270080
      1 This is a thread  139737513694976
      1 This is a thread  139737522087680
      2 This is a thread  139737505302272

Vì tôi chưa đọc trang người đàn ông uniqtrong một lúc, tôi đã xem nhanh mọi lựa chọn thay thế. Điều sau đây loại bỏ sự cần thiết cho loại thứ hai, nếu bạn chỉ muốn xem các bản sao:

$ sort thread.file | uniq -d
This is a thread  139737505302272

Nếu không có trùng lặp, tất cả các dòng là duy nhất:

[ "$(sort file | uniq -d)" ] && echo "some line(s) is(are) repeated"

Mô tả: Sắp xếp các dòng tệp để tạo các dòng lặp lại liên tiếp (sắp xếp)
Trích xuất tất cả các dòng liên tiếp bằng nhau (uniq -d).
Nếu có bất kỳ đầu ra nào của lệnh trên ( [...]), thì ( &&) in một thông báo.

Điều này sẽ không được hoàn thành nếu không có câu trả lời Perl!

$ perl -ne 'print if ++$a{$_} == 2' yourfile

Điều này sẽ in mỗi dòng không duy nhất một lần: vì vậy nếu nó không in gì, thì tệp có tất cả các dòng duy nhất.

Sử dụng cmpvà sorttrong bash:

cmp -s <( sort file ) <( sort -u file ) && echo 'All lines are unique'

hoặc là

if cmp -s <( sort file ) <( sort -u file )
then
    echo 'All lines are unique'
else
    echo 'At least one line is duplicated'
fi

Điều này sẽ sắp xếp các tập tin hai lần, giống như câu trả lời được chấp nhận.