Làm cách nào để kiểm tra xem một tệp sử dụng CRLF hay LF mà không sửa đổi nó?

Tôi cần định kỳ chạy một lệnh đảm bảo rằng một số tệp văn bản được giữ ở chế độ Linux. Thật không may, dos2unixluôn luôn sửa đổi tệp, sẽ làm rối loạn dấu thời gian của tệp và thư mục và gây ra việc ghi không cần thiết.

Kịch bản tôi viết là ở Bash, vì vậy tôi thích câu trả lời dựa trên Bash.

Bạn có thể sử dụng dos2unixlàm bộ lọc và so sánh đầu ra của nó với tệp gốc:

dos2unix < myfile.txt | cmp -s - myfile.txt

Nếu mục tiêu chỉ là để tránh ảnh hưởng đến dấu thời gian, dos2unixcó một -khoặc --keepdatetùy chọn sẽ giữ dấu thời gian như cũ. Nó vẫn sẽ phải thực hiện ghi để tạo tệp tạm thời và đổi tên nó, nhưng dấu thời gian của bạn sẽ không bị ảnh hưởng.

Nếu bất kỳ sửa đổi nào của tập tin là không thể chấp nhận, bạn có thể sử dụng giải pháp sau đây từ câu trả lời này .

find . -not -type d -exec file "{}" ";" | grep CRLF

Bạn có thể thử grepmã CRLF, bát phân:

grep -U $'\015' myfile.txt

hoặc hex:

grep -U $'\x0D' myfile.txt

Vì phiên bản 7.1dos2unix có một tùy chọn -i, --infođể có được thông tin về ngắt dòng. Bạn có thể sử dụng dos2unix để kiểm tra tập tin nào cần chuyển đổi.

Thí dụ:

dos2unix -ic *.txt | xargs dos2unix

Phương thức đầu tiên ( grep):

Đếm các dòng có chứa lợi nhuận vận chuyển:

[[ $(grep -c $'\r' myfile.txt) -gt 0 ]] && echo dos

Đếm các dòng kết thúc bằng trả lại xe ngựa:

[[ $(grep -c $'\r$' myfile.txt) -gt 0 ]] && echo dos

Chúng thường sẽ tương đương; một sự trở lại vận chuyển trong nội thất của một dòng (tức là, không phải ở cuối) là hiếm.

Hiệu quả hơn:

grep -q $'\r' myfile.txt && echo dos

Đây là hiệu quả hơn

1. bởi vì nó không cần phải chuyển đổi số đếm thành chuỗi ASCII, sau đó chuyển đổi chuỗi đó thành số nguyên và so sánh nó với số không, và
2. bởi vì grep -ccần phải đọc toàn bộ tệp, để đếm tất cả các lần xuất hiện của mẫu, trong khi grep -qcó thể thoát khi thấy sự xuất hiện đầu tiên của mẫu.

Ghi chú:

• Trong suốt phần trên, bạn có thể cần thêm -Utùy chọn (nghĩa là sử dụng -cUhoặc -qU), vì GNU grepđoán xem tệp có phải là tệp văn bản không. Nếu nó nghĩ rằng tệp là văn bản, nó sẽ bỏ qua trả về vận chuyển ở cuối dòng, trong một nỗ lực để làm cho $các biểu thức thông thường hoạt động "chính xác" - ngay cả khi biểu thức thông thường là \r$! Chỉ định -U(hoặc --binary) ghi đè lên phỏng đoán này, gây ra grepcoi (các) tệp là nhị phân và chuyển dữ liệu đến cơ chế khớp nguyên văn, với kết thúc CR còn nguyên vẹn.
• Đừng làm grep … $'\r\n' myfile.txt, bởi vì grepcoi \nnhư một dấu phân cách mẫu. Cũng giống như grep -E 'foo|'tìm kiếm các dòng chứa foohoặc một chuỗi null, grep $'\r\n'tìm kiếm các dòng chứa \rhoặc một chuỗi null và mỗi dòng khớp với một chuỗi null.

Phương thức thứ hai ( file):

[[ $(file myfile.txt) =~ CRLF ]] && echo dos

bởi vì filebáo cáo một cái gì đó như:

myfile.txt: UTF-8 Unicode text, with CRLF line terminators

Biến thể an toàn hơn:

[[ $(file -b - < myfile.txt) =~ CRLF ]] && echo dos

Ở đâu

• file -bchỉ xuất ra loại tệp chứ không phải tên tệp. Không có điều này, một tệp có tên bao gồm các ký tựCRLF sẽ kích hoạt dương tính giả.
• file - < filenamehoạt động ngay cả khi filenamebắt đầu với -.  ^{Xem tập lệnh Bash: kiểm tra xem một tệp có phải là tệp văn bản không .}

Coi chừng việc kiểm tra đầu ra từ file có thể không hoạt động ở một địa điểm không phải tiếng Anh.

Sử dụng cat -A

$ cat file
hello
hello

Bây giờ nếu tệp này được tạo trong các hệ thống * NIX, nó sẽ hiển thị

$ cat -A file
hello$
hello$

Nhưng nếu tệp này được tạo trong Windows, nó sẽ hiển thị

$ cat -A file
hello^M$
hello

^Mđại diện CRvà $đại diện LF. Lưu ý rằng Windows đã không lưu dòng cuối cùng vớiCRLF

Điều này cũng không thay đổi nội dung tập tin.

một hàm bash cho bạn:

# return 0 (true) if first line ends in CR
isDosFile() {
    [[ $(head -1 "$1") == *$'\r' ]]  
}

Sau đó, bạn có thể làm những thứ như

streamFile () {
    if isDosFile /tmp/foo.txt; then
        sed 's/\r$//' "$1"
    else
        cat "$1"
    fi
}

streamFile /tmp/foo.txt | process_lines_without_CR

Nếu một tệp có các kết thúc dòng CR-LF kiểu DOS / Windows, thì nếu bạn xem nó bằng công cụ dựa trên Unix, bạn sẽ thấy các ký tự CR ('\ r') ở cuối mỗi dòng.

Lệnh này:

grep -l '^M$' filename

sẽ in filenamenếu tệp chứa một hoặc nhiều dòng có kết thúc dòng kiểu Windows và sẽ không in gì nếu không có. Ngoại trừ việc ^Mphải là một ký tự trở lại vận chuyển theo nghĩa đen, thường được nhập vào thiết bị đầu cuối bằng cách gõ Ctrl+ Vtheo sau Enter (hoặc Ctrl+ Vvà sau đó Ctrl+ M). Shell bash cho phép bạn viết trở lại vận chuyển theo nghĩa đen như $'\r'( tài liệu ở đây ), vì vậy bạn có thể viết:

grep -l $'\r$' filename

Các vỏ khác có thể cung cấp một tính năng tương tự.

Bạn có thể sử dụng một công cụ khác thay thế:

awk '/\r$/ { exit(1) }' filename

Điều này sẽ thoát với trạng thái 1(cài đặt $?thành 1) nếu tệp chứa bất kỳ kết thúc dòng kiểu Windows nào và với trạng thái 0nếu không, làm cho nó hữu ích trong ifcâu lệnh shell (lưu ý thiếu [dấu ngoặc ]):

if awk '/\r$/ { exit(1) }' filename ; then
    echo filename has Unix-style line endings
else
    echo filename has at least one Windows-style line ending
fi

Một tệp có thể chứa hỗn hợp các kết thúc dòng kiểu Unix và Windows. Tôi giả sử ở đây rằng bạn muốn phát hiện các tệp có bất kỳ kết thúc dòng kiểu Windows nào .

Sử dụng file:

$ file README.md
README.md: ASCII text, with CRLF line terminators

$ dos2unix README.md
dos2unix: converting file README.md to Unix format...

$ file README.md
README.md: ASCII text

tôi đã từng sử dụng

cat -v filename.txt | diff - filename.txt

mà dường như làm việc Tôi thấy đầu ra dễ đọc hơn một chút

dos2unix < filename.txt | diff - filename.txt

Nó cũng hữu ích nếu bạn không thể cài đặt dos2unixvì một số lý do.