Loại bỏ các hàng trùng lặp trong vi?

Tôi có một tệp văn bản chứa một danh sách dài các mục nhập (một mục trên mỗi dòng). Một số trong số này là các bản sao và tôi muốn biết liệu có thể (và nếu có, làm thế nào) để loại bỏ bất kỳ bản sao nào. Tôi muốn làm điều này từ bên trong vi / vim, nếu có thể.

Nếu bạn đồng ý với việc sắp xếp tệp của mình, bạn có thể sử dụng:

:sort u

Thử cái này:

:%s/^\(.*\)\(\n\1\)\+$/\1/

Nó tìm kiếm bất kỳ dòng nào ngay sau đó là một hoặc nhiều bản sao của chính nó và thay thế nó bằng một bản sao duy nhất.

Tạo một bản sao của tệp của bạn trước khi bạn thử nó. Nó chưa được kiểm tra.

Từ dòng lệnh chỉ cần làm:

sort file | uniq > file.new

awk '!x[$0]++' yourfile.txtnếu bạn muốn giữ nguyên thứ tự (tức là không thể chấp nhận sắp xếp). Để gọi nó từ vim, :!có thể được sử dụng.

g/^\(.*\)$\n\1/d

Hoạt động cho tôi trên Windows. Mặc dù vậy, các dòng phải được sắp xếp trước.

Tôi sẽ kết hợp hai trong số các câu trả lời ở trên:

go to head of file
sort the whole file
remove duplicate entries with uniq

1G
!Gsort
1G
!Guniq

Nếu bạn muốn xem có bao nhiêu dòng trùng lặp đã bị xóa, hãy sử dụng control-G trước và sau để kiểm tra số dòng có trong bộ đệm của bạn.

Sau đó, chọn các đường ở chế độ đường trực quan ( Shift+ v) :!uniq. Điều đó sẽ chỉ bắt được các bản sao lần lượt xuất hiện.

Về cách Uniq có thể được triển khai trong VimL, ​​hãy tìm kiếm Uniq trong một plugin mà tôi đang duy trì . Bạn sẽ thấy nhiều cách khác nhau để thực hiện nó đã được cung cấp trong danh sách gửi thư Vim.

Nếu không, :sort uthực sự là con đường để đi.

:%s/^\(.*\)\(\n\1\)\+$/\1/gec

hoặc là

:%s/^\(.*\)\(\n\1\)\+$/\1/ge

đây là câu trả lời của tôi dành cho bạn, nó có thể loại bỏ nhiều dòng trùng lặp và chỉ giữ một dòng không bị xóa!

Tôi sẽ sử dụng !}uniq, nhưng điều đó chỉ hoạt động nếu không có dòng trống.

Đối với mỗi dòng trong một tập tin sử dụng: :1,$!uniq.

Phiên bản này chỉ loại bỏ các dòng lặp đi lặp lại không liên quan. Ý tôi là, chỉ xóa các dòng lặp lại liên tiếp. Sử dụng bản đồ đã cho, chức năng ghi chú sẽ lộn xộn với các dòng trống. Nhưng nếu thay đổi REGEX để phù hợp với đầu dòng, ^nó cũng sẽ loại bỏ các dòng trống trùng lặp.

" function to delete duplicate lines
function! DelDuplicatedLines()
    while getline(".") == getline(line(".") - 1)
        exec 'norm! ddk'
    endwhile
    while getline(".") == getline(line(".") + 1)
        exec 'norm! dd'
    endwhile
endfunction
nnoremap <Leader>d :g/./call DelDuplicatedLines()<CR>

Một phương pháp thay thế không sử dụng vi / vim (đối với các tệp rất lớn), là từ dòng lệnh Linux sử dụng sort và uniq:

sort {file-name} | uniq -u

Điều này làm việc cho tôi cho cả hai .csvvà.txt

awk '!seen[$0]++' <filename> > <newFileName>

Giải thích: Phần đầu tiên của lệnh in ra các hàng duy nhất và phần thứ hai tức là sau mũi tên ở giữa là để lưu kết quả của phần đầu tiên.

awk '!seen[$0]++' <filename>

>

<newFileName>