Câu hỏi được gắn thẻ «uniq»

Ở mọi nơi tôi thấy ai đó cần để có được một danh sách độc đáo, được sắp xếp, họ luôn luôn hướng đến sort | uniq. Tôi chưa bao giờ thấy bất kỳ ví dụ nào mà ai đó sử dụng sort -uthay thế. Tại sao không? Sự khác …

120 bash  sort  uniq 

Tôi thực sự thích sử dụng control+rđể tìm kiếm đệ quy lịch sử lệnh của tôi. Tôi đã tìm thấy một vài lựa chọn tốt mà tôi muốn sử dụng với nó: # ignore duplicate commands, ignore commands starting with a space export HISTCONTROL=erasedups:ignorespace # keep the last 5000 entries …

60 bash  command-line  command-history  sort  uniq 

$ cat data.txt aaaaaa aaaaaa cccccc aaaaaa aaaaaa bbbbbb $ cat data.txt | uniq aaaaaa cccccc aaaaaa bbbbbb $ cat data.txt | sort | uniq aaaaaa bbbbbb cccccc $ Kết quả mà tôi cần là hiển thị tất cả các dòng từ tệp gốc loại bỏ tất cả các bản …

40 text-processing  uniq 

Lớp lót này sẽ loại bỏ các dòng trùng lặp khỏi kiểu nhập văn bản mà không cần sắp xếp trước. Ví dụ: $ cat >f q w e w r $ awk '!a[$0]++' <f q w e r $ Mã ban đầu tôi đã tìm thấy trên internets đọc: …

39 shell-script  awk  scripting  sort  uniq 

Dưới đây là các lệnh trên một tệp ngẫu nhiên từ pastebin : wget -qO - http://pastebin.com/0cSPs9LR | wc -l 350 wget -qO - http://pastebin.com/0cSPs9LR | sort -u | wc -l 287 wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq | wc -l 287 wget -qO - http://pastebin.com/0cSPs9LR | sort …

35 uniq 

Tôi có cách nào để tìm tất cả các tệp trong một thư mục có tên tệp trùng lặp, bất kể vỏ (chữ hoa và / hoặc chữ thường) không?

17 find  uniq  case-sensitivity  duplicate-files 

Tôi gặp trường hợp sử dụng ngày hôm nay. Có vẻ như đơn giản ở cái nhìn đầu tiên, nhưng quan trọng xung quanh với sort, uniq, sedvà awktiết lộ rằng đó là không tầm thường. Làm thế nào tôi có thể xóa tất cả các cặp dòng trùng lặp? …

16 text-processing  sed  uniq 

Câu hỏi của tôi tương tự như câu hỏi này nhưng với một vài ràng buộc khác nhau: Tôi có một \ndanh sách từ được phân cách lớn - một từ trên mỗi dòng. Kích thước của các tệp từ 2 GB đến lớn nhất là 10 GB. Tôi cần …

16 linux  text-processing  uniq 

Tôi có một số mã cũ từ năm 2003 sử dụng -ttùy chọn cho uniqlệnh. Nó đưa ra một lỗi vì tùy chọn đó có thể không được hỗ trợ nữa. Đây là phần sử dụng lệnh: egrep -n "{ IA32_OP" ia32-decode.c | \ awk '{ print $1 $3 $4 …

15 uniq 

Tôi có một tệp lớn ở định dạng sau: 2 1019 0 12 2 1019 3 0 2 1021 0 2 2 1021 2 0 2 1022 4 5 2 1030 0 1 2 1030 5 0 2 1031 4 4 Nếu các giá trị trong cột 2 khớp nhau, …

11 text-processing  awk  sort  uniq 

Tôi có một tệp có một cột với các tên lặp lại một số lần mỗi cột. Tôi muốn ngưng tụ mỗi lần lặp lại thành một, trong khi vẫn giữ bất kỳ sự lặp lại nào khác có cùng tên không liền kề với các lần lặp khác cùng …

11 awk  sed  sort  uniq 

Điều gì đang xảy ra trong đoạn mã sau đây? Tôi không nhận được đầu ra mong đợi của tôi. Tôi nghĩ đó là một lỗi, nhưng nó xảy ra với 2 chương trình khác nhau (uniq và sort), vì vậy tôi nghi ngờ đó là một cái gì đó …

10 text-processing  sort  locale  unicode  uniq 

Tôi đã sử dụng lệnh sau curl -silent http://api.openstreetmap.org/api/0.6/relation/2919627 http://api.openstreetmap.org/api/0.6/relation/2919628 | grep node | awk '{print $3}' | uniq khi tôi tự hỏi tại sao uniqsẽ không loại bỏ các bản sao. Bất cứ ý tưởng tại sao?

10 command-line  curl  uniq 

Tôi đang cố gắng ngây thơ: $ cat * | sort -u > /tmp/bla.txt thất bại với: -bash: /bin/cat: Argument list too long Vì vậy, để tránh một giải pháp ngớ ngẩn như (tạo một tệp tạm thời khổng lồ): $ find . -type f -exec cat {} >> /tmp/unsorted.txt …

8 shell  sort  uniq 

Nếu tôi có một chuỗi "1 2 3 2 1" - hoặc một mảng [1,2,3,2,1] - làm cách nào tôi có thể chọn các giá trị duy nhất, nghĩa là "1 2 3 2 1" produces "1 2 3" hoặc là [1,2,3,2,1] produces [1,2,3] Tương tự như uniq nhưng uniq …

8 string  array  uniq  patterns