Xóa các dòng trùng lặp khỏi tệp chứa dấu thời gian

Câu hỏi / câu trả lời này có một số giải pháp tốt để xóa các dòng giống hệt nhau trong một tệp, nhưng sẽ không hoạt động trong trường hợp của tôi vì các dòng trùng lặp khác có dấu thời gian.

Có thể nói awk bỏ qua 26 ký tự đầu tiên của một dòng trong việc xác định trùng lặp?

Thí dụ:

[Fri Oct 31 20:27:05 2014] The Brown Cow Jumped Over The Moon
[Fri Oct 31 20:27:10 2014] The Brown Cow Jumped Over The Moon
[Fri Oct 31 20:27:13 2014] The Brown Cow Jumped Over The Moon
[Fri Oct 31 20:27:16 2014] The Brown Cow Jumped Over The Moon
[Fri Oct 31 20:27:21 2014] The Brown Cow Jumped Over The Moon
[Fri Oct 31 20:27:22 2014] The Brown Cow Jumped Over The Moon
[Fri Oct 31 20:27:23 2014] The Brown Cow Jumped Over The Moon
[Fri Oct 31 20:27:24 2014] The Brown Cow Jumped Over The Moon

Sẽ trở thành

[Fri Oct 31 20:27:24 2014] The Brown Cow Jumped Over The Moon

(giữ dấu thời gian gần đây nhất)

Bạn chỉ có thể sử dụng uniqvới -ftùy chọn của nó :

uniq -f 4 input.txt

Từ man uniq:

  -f, --skip-fields=N
       avoid comparing the first N fields

Trên thực tế, điều này sẽ hiển thị dòng đầu tiên:

[Fri Oct 31 20:27:05 2014] The Brown Cow Jumped Over The Moon

Nếu đó là một vấn đề bạn có thể làm:

tac input.txt | uniq -f 4

hoặc nếu bạn không có tacnhưng tailhỗ trợ của bạn -r:

tail -r input.txt | uniq -f 4

awk '!seen[substr($0,27)]++' file

Hãy thử cái này:

awk -F ']' '{a[$2]=$1}END{for(i in a){print a[i]"]"i}}'

Một perlgiải pháp:

perl -F']' -anle '$h{$F[1]} = $_; END{print $h{$_} for keys %h}' file

Người ta có thể sử dụng sức mạnh của vim:

:g/part of duplicate string/d

Rất dễ. Nếu bạn có thêm vài tệp (chẳng hạn như nhật ký xoay được nén ), vimsẽ mở chúng mà không cần giải nén sơ bộ về phía bạn và bạn có thể lặp lại lệnh cuối cùng bằng cách nhấn :và ↑. Cũng giống như lặp lại lệnh cuối cùng trong thiết bị đầu cuối.