Chuyển đổi kết thúc dòng cho toàn bộ cây thư mục (Git)


162

Tình huống sau:

Tôi đang làm việc trên máy Mac chạy OS X và gần đây đã tham gia một dự án có thành viên cho đến nay đều sử dụng Windows. Một trong những nhiệm vụ đầu tiên của tôi là thiết lập cơ sở mã trong kho lưu trữ Git, vì vậy tôi đã kéo cây thư mục từ FTP và cố gắng kiểm tra nó trong repo Git mà tôi đã chuẩn bị cục bộ. Khi cố gắng làm điều này, tất cả những gì tôi nhận được là

fatal: CRLF would be replaced by LF in blog/license.txt.

Vì điều này ảnh hưởng đến tất cả các tệp bên dưới thư mục "blog", tôi đang tìm cách chuyển đổi thuận tiện TẤT CẢ các tệp trong cây thành các kết thúc dòng Unix. Có một công cụ nào thực hiện được điều đó hay tôi có thể tự viết kịch bản không?

Để tham khảo, cấu hình Git của tôi liên quan đến kết thúc dòng:

core.safecrlf=true
core.autocrlf=input

Câu trả lời:


268

dos2unix làm điều đó cho bạn. Quá trình thẳng tiến.
dos2unix filename

Nhờ có toolbear, đây là một lớp lót thay thế đệ quy kết thúc dòng và xử lý đúng khoảng trắng, dấu ngoặc kép và ký tự meta shell.

find . -type f -exec dos2unix {} \;

Nếu bạn đang sử dụng tệp nhị phân dos2unix 6.0 sẽ bị bỏ qua.


8
find blog -type f | xargs dos2unixnên nhanh hơn Bạn không cần một -name *.*trong hai, trừ khi bạn đặc biệt chỉ muốn các tệp có một khoảng thời gian ở đâu đó trong tên. Đó là một cửa sổ toàn cầu, không phải là một * nix.
Vô dụng

15
Đường ống findđể xargssẽ thất bại nếu findcác trận đấu bất kỳ tập tin với khoảng trắng, dấu ngoặc kép, hoặc các ký tự vỏ meta khác trong con đường của mình. Ít nhất sử dụng find blog -type f -print0 | xargs -0 dos2unixđể xử lý các trường hợp khoảng trắng. Bạn phải sử dụng find's-exec thay vì đường ống để tránh dấu ngoặc kép, vv .. Các dos2unixtrang người đàn ông không xác định những gì hành vi của nó là nếu bạn gọi nó trên các tập tin nhị phân. Nếu nó chuyển đổi CRLF trong các tệp nhị phân, nó sẽ làm hỏng chúng. Xem câu trả lời của tôi cho một sự thay thế an toàn hơn, mặc dù lâu hơn.
cụ

1
@lukmdo không phải là phiên bản được cài đặt trên centos 6.4 ..... mà không ghi đè chúng .... thay vào đó tôi phải d / l từ đây rpmfind.net/linux/rpm2html/search.php?query=dos2unix
Kerridge0

Phụ lục: dos2unix CLI được cài đặt dễ dàng nhất thông qua Homebrew (và không phải npm).
2540625

2
Làm thế nào người ta sẽ bỏ qua các thư mục sử dụng phương pháp này, nếu có thể?
kiểu dữ liệu

50

Giả sử bạn có GNU grepperlđiều này sẽ chuyển đổi đệ quy CRLF thành LF trong các tệp không nhị phân trong thư mục hiện tại:

find . -type f -exec grep -qIP '\r\n' {} ';' -exec perl -pi -e 's/\r\n/\n/g' {} '+'

Làm thế nào nó hoạt động

Tìm đệ quy trong thư mục hiện tại; thay đổi .để bloghoặc whatevthư mục con để hạn chế thay thế:

find .

Chỉ khớp với các tệp thông thường:

  -type f

Kiểm tra nếu tệp chứa CRLF. Không bao gồm các tệp nhị phân. Chạygrep lệnh cho mọi tập tin thông thường. Đó là giá của việc loại trừ nhị phân. Nếu bạn có một cái cũ, grepbạn có thể thử xây dựng một bài kiểm tra bằng cách sử dụng filelệnh:

  -exec grep -qIP '\r\n' {} ';'

Thay thế CRLF bằng LF. Các '+'bằng thứ hai -execkể findđến các tập tin phù hợp với tích lũy và vượt qua chúng một (hoặc càng ít càng tốt) lời gọi của lệnh - như đường ống để xargs, nhưng không có vấn đề nếu đường dẫn tập tin chứa dấu cách, dấu ngoặc kép, hoặc các ký tự vỏ meta khác. Các iin -pinói với perl để sửa đổi các tập tin tại chỗ. Bạn có thể sử dụng sedhoặc awkở đây với một số công việc và có thể bạn sẽ thay đổi '+' thành ';' và gọi một quy trình riêng cho mỗi trận đấu:

  -exec perl -pi -e 's/\r\n/\n/g' {} '+'

6
Trong trường hợp nó giúp được bất cứ ai: grep -qIP '\r\n'không bao giờ khớp bất cứ thứ gì trên hệ thống CentOS của tôi. Thay đổi nó để grep -qIP '\r$'làm việc.
Steve Onorato

Ghét để hỏi trong ý kiến, nhưng có cách nào để loại trừ một thư mục như thế node_modulesnào?
kiểu dữ liệu

1
@datatype_void hãy xem stackoverflow.com/questions/4210042/ trên để biết cách sửa đổi findphần lệnh để loại trừ các thư mục. Họ đề nghị sử dụng -path, nhưng bạn cũng có thể sử dụng -regexhoặc -iregex, nghĩa là -not -regex '.*/node_modules/.*'sẽ loại trừ một node_modulesđộ sâu bất kỳ.
toolbear

Xin lỗi nếu tôi đi như một regexhoặc không bash, nhưng về nhiều loại trừ, nói node_modulediství dụ?
kiểu dữ liệu

GNU grep là cần thiết cho -Pcờ. OS X chuyển từ GNU grep sang BSD grep. Một số lựa chọn thay thế cho OS X: stackoverflow.com/questions/16658333/ từ
toolbear

28

Đây là một lựa chọn tốt hơn: Swiss File Knife . Nó hoạt động đệ quy trên các thư mục con và xử lý đúng không gian và các ký tự đặc biệt.

Tât cả nhưng điêu bạn phải lam la:

sfk remcr -dir your_project_directory

Phần thưởng: sfk cũng thực hiện nhiều chuyển đổi khác. Xem bên dưới để biết danh sách đầy đủ:

SFK - The Swiss File Knife File Tree Processor.
Release 1.6.7 Base Revision 2 of May  3 2013.
StahlWorks Technologies, http://stahlworks.com/
Distributed for free under the BSD License, without any warranty.

type "sfk commandname" for help on any of the following.
some commands require to add "-help" for the help text.

   file system
      sfk list       - list directory tree contents.
                       list latest, oldest or biggest files.
                       list directory differences.
                       list zip jar tar gz bz2 contents.
      sfk filefind   - find files by filename
      sfk treesize   - show directory size statistics
      sfk copy       - copy directory trees additively
      sfk sync       - mirror tree content with deletion
      sfk partcopy   - copy part from a file into another one
      sfk mkdir      - create directory tree
      sfk delete     - delete files and folders
      sfk deltree    - delete whole directory tree
      sfk deblank    - remove blanks in filenames
      sfk space [-h] - tell total and free size of volume
      sfk filetime   - tell times of a file
      sfk touch      - change times of a file

   conversion
      sfk lf-to-crlf - convert from LF to CRLF line endings
      sfk crlf-to-lf - convert from CRLF to LF line endings
      sfk detab      - convert TAB characters to spaces
      sfk entab      - convert groups of spaces to TAB chars
      sfk scantab    - list files containing TAB characters
      sfk split      - split large files into smaller ones
      sfk join       - join small files into a large one
      sfk hexdump    - create hexdump from a binary file
      sfk hextobin   - convert hex data to binary
      sfk hex        - convert decimal number(s) to hex
      sfk dec        - convert hex number(s) to decimal
      sfk chars      - print chars for a list of codes
      sfk bin-to-src - convert binary to source code

   text processing
      sfk filter     - search, filter and replace text data
      sfk addhead    - insert string at start of text lines
      sfk addtail    - append string at end of text lines
      sfk patch      - change text files through a script
      sfk snapto     - join many text files into one file
      sfk joinlines  - join text lines split by email reformatting
      sfk inst       - instrument c++ sourcecode with tracing calls
      sfk replace    - replace words in binary and text files
      sfk hexfind    - find words in binary files, showing hexdump
      sfk run        - run command on all files of a folder
      sfk runloop    - run a command n times in a loop
      sfk printloop  - print some text many times
      sfk strings    - extract strings from a binary file
      sfk sort       - sort text lines produced by another command
      sfk count      - count text lines, filter identical lines
      sfk head       - print first lines of a file
      sfk tail       - print last lines of a file
      sfk linelen    - tell length of string(s)

   search and compare
      sfk find       - find words in binary files, showing text
      sfk md5gento   - create list of md5 checksums over files
      sfk md5check   - verify list of md5 checksums over files
      sfk md5        - calc md5 over a file, compare two files
      sfk pathfind   - search PATH for location of a command
      sfk reflist    - list fuzzy references between files
      sfk deplist    - list fuzzy dependencies between files
      sfk dupfind    - find duplicate files by content

   networking
      sfk httpserv   - run an instant HTTP server.
                       type "sfk httpserv -help" for help.
      sfk ftpserv    - run an instant FTP server
                       type "sfk ftpserv -help" for help.
      sfk ftp        - instant anonymous FTP client
      sfk wget       - download HTTP file from the web
      sfk webrequest - send HTTP request to a server
      sfk tcpdump    - print TCP conversation between programs
      sfk udpdump    - print incoming UDP requests
      sfk udpsend    - send UDP requests
      sfk ip         - tell own machine's IP address(es).
                       type "sfk ip -help" for help.
      sfk netlog     - send text outputs to network,
                       and/or file, and/or terminal

   scripting
      sfk script     - run many sfk commands in a script file
      sfk echo       - print (coloured) text to terminal
      sfk color      - change text color of terminal
      sfk alias      - create command from other commands
      sfk mkcd       - create command to reenter directory
      sfk sleep      - delay execution for milliseconds
      sfk pause      - wait for user input
      sfk label      - define starting point for a script
      sfk tee        - split command output in two streams
      sfk tofile     - save command output to a file
      sfk toterm     - flush command output to terminal
      sfk loop       - repeat execution of a command chain
      sfk cd         - change directory within a script
      sfk getcwd     - print the current working directory
      sfk require    - compare version text

   development
      sfk bin-to-src - convert binary data to source code
      sfk make-random-file - create file with random data
      sfk fuzz       - change file at random, for testing
      sfk sample     - print example code for programming
      sfk inst       - instrument c++ with tracing calls

   diverse
      sfk media      - cut video and binary files
      sfk view       - show results in a GUI tool
      sfk toclip     - copy command output to clipboard
      sfk fromclip   - read text from clipboard
      sfk list       - show directory tree contents
      sfk env        - search environment variables
      sfk version    - show version of a binary file
      sfk ascii      - list ISO 8859-1 ASCII characters
      sfk ascii -dos - list OEM codepage 850 characters
      sfk license    - print the SFK license text

   help by subject
      sfk help select   - how dirs and files are selected in sfk
      sfk help options  - general options reference
      sfk help patterns - wildcards and text patterns within sfk
      sfk help chain    - how to combine (chain) multiple commands
      sfk help shell    - how to optimize the windows command prompt
      sfk help unicode  - about unicode file reading support
      sfk help colors   - how to change result colors
      sfk help xe       - for infos on sfk extended edition.

   All tree walking commands support file selection this way:

   1. short format with ONE directory tree and MANY file name patterns:
      src1dir .cpp .hpp .xml bigbar !footmp
   2. short format with a list of explicite file names:
      letter1.txt revenues9.xls report3\turnover5.ppt
   3. long format with MANY dir trees and file masks PER dir tree:
      -dir src1 src2 !src\save -file foosys .cpp -dir bin5 -file .exe

   For detailed help on file selection, type "sfk help select".

   * and ? wildcards are supported within filenames. "foo" is interpreted
   as "*foo*", so you can leave out * completely to search a part of a name.
   For name start comparison, say "\foo" (finds foo.txt but not anyfoo.txt).

   When you supply a directory name, by default this means "take all files".

      sfk list mydir                lists ALL  files of mydir, no * needed.
      sfk list mydir .cpp .hpp      lists SOME files of mydir, by extension.
      sfk list mydir !.cfg          lists all  files of mydir  EXCEPT .cfg

   general options:
      -tracesel tells in detail which files and/or directories are included
                or excluded, and why (due to which user-supplied mask).
      -nosub    do not process files within subdirectories.
      -nocol    before any command switches off color output.
      -quiet    or -nohead shows less output on some commands.
      -hidden   includes hidden and system files and dirs.
      For detailed help on all options, type "sfk help options".

   beware of Shell Command Characters.
      command parameters containing characters < > | ! & must be sur-
      rounded by quotes "". type "sfk filter" for details and examples.

   type "sfk ask word1 word2 ..."   to search ALL help text for words.
   type "sfk dumphelp"              to print  ALL help text.

EDIT: một lời cảnh báo: hãy cẩn thận khi chạy tệp này trên các thư mục có tệp nhị phân, vì nó sẽ phá hủy các tệp của bạn, đặc biệt là các thư mục .git . Nếu đây là trường hợp của bạn, đừng không chạy SFK trong toàn bộ thư mục, nhưng chọn phần mở rộng tập tin cụ thể thay vì (* rb, * py, vv). Thí dụ:sfk remcr -dir chef -file .rb -file .json -file .erb -file .md


Hoạt động tuyệt vời trên OSX Mavericks. Không cần phải cài đặt bất cứ thứ gì, chỉ cần chạy tập lệnh từ dmg được gắn và thiết bị đầu cuối của bạn xuất hiện để sẵn sàng hoạt động.
Nate Cook

@Gui Ambros Bạn không cần phải lo lắng về các tệp trong thư mục .git. sfk không cập nhật các tập tin trong các thư mục ẩn theo mặc định.
bittusarkar

1
@bittusarkar: Tại thời điểm trả lời của tôi, đã sfkxử lý hiệu quả toàn bộ thư mục .git của tôi và phá hủy một loạt các tệp nhị phân (do đó tôi chỉnh sửa ; không nhớ đó là Linux hay Mac). Họ có thể đã thay đổi hành vi mặc định trong các phiên bản gần đây hơn, nhưng tôi vẫn khuyên bạn nên chỉ định tiện ích mở rộng, để an toàn.
Gui Ambros

1
Điều này hoạt động tốt với tôi, sau khi dành quá nhiều thời gian cố gắng bình thường hóa repos của tôi bằng cách sử dụng các lệnh git được đề xuất mà đơn giản là không sửa tất cả các tệp có liên quan.
angensesen

1
Cảm ơn! Chỉ cần sử dụng điều này để chuyển đổi một loạt các tệp một cách nhanh chóng và không đau đớn và bây giờ tôi có thể thêm chúng vào khu vực tổ chức trong Git. Trên OSX 10.9.5 và không chắc chắn nơi các tệp được tạo.
ryanwc

16
find . -not \( -name .svn -prune -o -name .git -prune \) -type f -exec perl -pi -e 's/\r\n|\n|\r/\n/g' {} \;

Điều này là an toàn hơn nhiều vì nó tránh làm hỏng repo git của bạn. Thêm hoặc thay thế .git, .svn bằng .bzr, .hg hoặc bất kỳ nguồn nào kiểm soát việc bạn sử dụng vào danh sách không .


3
Đây là câu trả lời tốt nhất nếu bạn không phải cài đặt bất cứ thứ gì như dos2unix. Cho phép loại trừ các loại tệp và tránh làm hỏng các tệp mã nguồn.
Raghavan

10

Trên OS X, điều này làm việc cho tôi:

find ./ -type f -exec perl -pi -e 's/\r\n|\n|\r/\n/g' {} \;

Cảnh báo: Vui lòng sao lưu thư mục của bạn trước khi thực hiện lệnh này.


5
Chỉ muốn lưu ý rằng điều này làm hỏng kho git của tôi. Tôi đã thử lại bằng cách di chuyển thư mục .git trước khi chạy và chuyển nó trở lại sau đó với thành công tốt hơn.
garie

1
Tôi cũng lưu ý rằng điều này không loại trừ các tệp nhị phân, vì vậy nó sẽ làm hỏng jpg của bạn.
Niek

0

Đây là một giải pháp nếu sử dụng sed:

find . -type f -exec sed -i 's/\r$//' {} \;

-i là viết tắt của tại chỗ, nếu bạn muốn tạo một bản sao lưu cũng sử dụng -i.bak

's/\r$//'sẽ thay thế tất cả lợi nhuận vận chuyển ( \r) ở cuối mỗi dòng

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.