Tại sao tập tin được sắp xếp của tôi lớn hơn?

Tôi có một tệp văn bản 2958616 byte. Khi tôi chạy sort < file.txt | uniq > sorted-file.txt, tôi nhận được một tệp văn bản 3213965 byte. Tại sao tệp văn bản được sắp xếp của tôi lớn hơn?

Bạn có thể tải về các tập tin văn bản ở đây .

Trong khi tệp gốc của bạn có các dòng kết thúc bằng \n, tệp được sắp xếp của bạn có \r\n. Việc bổ sung \rlà những gì thay đổi kích thước.

Để minh họa, đây là những gì xảy ra khi tôi chạy lệnh của bạn trên hệ thống Linux của mình:

$ sort < file.txt | uniq > sorted-file.linux.txt
$ ls -l file.txt sorted-file.linux.txt 
-rw-r--r-- 1 terdon terdon 2958616 Jul 10 12:11 file.txt
-rw-r--r-- 1 terdon terdon 2942389 Jul 10 15:15 sorted-file.linux.txt
$ wc -l file.txt sorted-file.linux.txt 
273882 file.txt
271576 sorted-file.linux.txt

Như bạn có thể thấy, tệp khử trùng được sắp xếp ngắn hơn một vài dòng và do đó, một vài byte nhỏ hơn. Tập tin của bạn, tuy nhiên, là khác nhau:

$ wc -l sorted-file.linux.txt sorted-file.txt 
271576 sorted-file.linux.txt
271576 sorted-file.txt

Hai tệp có cùng số dòng, nhưng:

$ ls -l file.txt sorted-file.linux.txt sorted-file.txt 
-rw-r--r-- 1 terdon terdon 2958616 Jul 10 12:11 file.txt
-rw-r--r-- 1 terdon terdon 2942389 Jul 10 15:15 sorted-file.linux.txt
-rw-r--r-- 1 terdon terdon 3213965 Jul 10 12:11 sorted-file.txt

Cái sorted-file.txttôi tải về từ liên kết của bạn lớn hơn. Nếu bây giờ chúng ta kiểm tra dòng đầu tiên, chúng ta có thể thấy thêm \r:

$ head -n1 sorted-file.txt | od -c
0000000   a  \r  \n
0000003

Không có trong cái tôi tạo trên Linux:

$ head -n1 sorted-file.linux.txt | od -c
0000000   a  \n
0000002

Nếu bây giờ chúng tôi xóa \rtệp khỏi tệp của bạn:

$ tr -d '\r' < sorted-file.txt > new-sorted-file.txt

Chúng tôi nhận được kết quả mong đợi, một tệp nhỏ hơn bản gốc, giống như tệp tôi đã tạo trên hệ thống của mình:

$ ls -l sorted-file.linux.txt new-sorted-file.txt file.txt
-rw-r--r-- 1 terdon terdon 2958616 Jul 10 12:11 file.txt
-rw-r--r-- 1 terdon terdon 2942389 Jul 10 15:19 new-sorted-file.txt
-rw-r--r-- 1 terdon terdon 2942389 Jul 10 15:15 sorted-file.linux.txt

hexdump tiết lộ nó

$ hexdump -cn 32 file.txt 
0000000   a   d   h   d  \n   a   d   s   l  \n   a   m   v   b  \n   a
0000010   o   v  \n   a   o   w  \n   a   r   o   b  \n   a   s   f   a
0000020

$ hexdump -cn 32 my-sorted.txt 
0000000   a  \n   a   a  \n   a   a   a  \n   a   a   d  \n   a   a   d
0000010   s  \n   a   a   f   j   e  \n   a   a   f   j   e   s  \n   a
0000020 

$ hexdump -cn 32 sorted-file.txt 
0000000   a  \r  \n   a   a  \r  \n   a   a   a  \r  \n   a   a   d  \r
0000010  \n   a   a   d   s  \r  \n   a   a   f   j   e  \r  \n   a   a
0000020   

Tệp được sắp xếp của bạn lớn hơn vì nó sử dụng các kết thúc dòng Windows \r\n(hai byte) thay vì các kết thúc dòng Linux \n(một byte).

Có thể là bạn đang chạy lệnh đó ở trên trong Windows bằng cách sử dụng các công cụ như cygwinhoặc hệ thống con Linux mới này cho Windows 10? Hay bạn có thể chạy một cái gì đó trong Wine?