Làm cách nào để thay thế dấu thời gian epoch trong một tệp bằng các định dạng khác?

Tôi có một tệp chứa ngày kỷ nguyên mà tôi cần chuyển đổi thành người có thể đọc được. Tôi đã biết cách thực hiện chuyển đổi ngày, ví dụ:

[server01 ~]$ date -d@1472200700
Fri 26 Aug 09:38:20 BST 2016

..nhưng tôi đang vật lộn để tìm ra cách sedđi qua tập tin và chuyển đổi tất cả các mục. Định dạng tệp trông như thế này:

#1472047795
ll /data/holding/email
#1472047906
cat /etc/rsyslog.conf
#1472048038
ll /data/holding/web

Giả sử định dạng tệp nhất quán, với bashbạn có thể đọc từng dòng tệp, kiểm tra xem nó có ở định dạng nhất định không và sau đó thực hiện chuyển đổi:

while IFS= read -r i; do [[ $i =~ ^#([0-9]{10})$ ]] && \
      date -d@"${BASH_REMATCH[1]}"; done <file.txt

BASH_REMATCHlà một mảng có phần tử đầu tiên là nhóm được bắt đầu tiên trong kết hợp Regex =~, trong trường hợp này là epoch.

Nếu bạn muốn giữ cấu trúc tệp:

while IFS= read -r i; do if [[ $i =~ ^#([0-9]{10})$ ]]; then printf '#%s\n' \
   "$(date -d@"${BASH_REMATCH[1]}")"; else printf '%s\n' "$i"; fi; done <file.txt

điều này sẽ xuất nội dung đã sửa đổi thành STDOUT, để lưu nó trong một tệp, ví dụ out.txt:

while ...; do ...; done >out.txt

Bây giờ nếu bạn muốn, bạn có thể thay thế tệp gốc:

mv out.txt file.txt

Thí dụ:

$ cat file.txt
#1472047795
ll /data/holding/email
#1472047906
cat /etc/rsyslog.conf
#1472048038
ll /data/holding/web

$ while IFS= read -r i; do [[ $i =~ ^#([0-9]{10})$ ]] && date -d@"${BASH_REMATCH[1]}"; done <file.txt
Wed Aug 24 20:09:55 BDT 2016
Wed Aug 24 20:11:46 BDT 2016
Wed Aug 24 20:13:58 BDT 2016

$ while IFS= read -r i; do if [[ $i =~ ^#([0-9]{10})$ ]]; then printf '#%s\n' "$(date -d@"${BASH_REMATCH[1]}")"; else printf '%s\n' "$i"; fi; done <file.txt
#Wed Aug 24 20:09:55 BDT 2016
ll /data/holding/email
#Wed Aug 24 20:11:46 BDT 2016
cat /etc/rsyslog.conf
#Wed Aug 24 20:13:58 BDT 2016
ll /data/holding/web

Trong khi điều đó có thể với GNU sedvới những thứ như:

sed -E 's/^#([0-9]+).*$/date -d @\1/e'

Điều đó sẽ rất kém hiệu quả (và dễ dàng đưa ra các lỗ hổng tiêm lệnh tùy ý ¹ ) vì điều đó có nghĩa là chạy một shell và một datelệnh cho mỗi #xxxxdòng, hầu như tệ như một while readvòng lặp shell . Ở đây, sẽ tốt hơn nếu sử dụng những thứ như perlhoặc gawk, đó là các tiện ích xử lý văn bản có tích hợp khả năng chuyển đổi ngày:

perl  -MPOSIX -pe 's/^#(\d+).*/ctime $1/se'

Hoặc là:

gawk '/^#/{$0 = strftime("%c", substr($0, 2))};1'

_{¹ Nếu chúng ta đã viết ^#([0-9]).*thay vì ^#([0-9]).*$(như tôi đã làm trong phiên bản trước của câu trả lời này), thì ở các địa phương nhiều byte như UTF-8 (tiêu chuẩn hiện nay), với đầu vào như #1472047795<0x80>;reboot, trong đó <0x80>có giá trị byte 0x80 không tạo thành một ký tự hợp lệ, slệnh đó cuối cùng sẽ chạy date -d@1472047795<0x80>; reboot. Trong khi với phần phụ $, những dòng đó sẽ không được thay thế. Một cách tiếp cận khác sẽ là : s/^#([0-9])/date -d @\1 #/e, đó là để lại phần sau #xxxngày nhận xét}

Tất cả các câu trả lời khác sinh ra một datequy trình mới cho mỗi ngày kỷ nguyên cần được chuyển đổi. Điều này có khả năng có thể thêm chi phí hiệu suất nếu đầu vào của bạn lớn.

Tuy nhiên, ngày GNU có một -ftùy chọn tiện dụng cho phép một cá thể quy trình duy nhất dateđọc liên tục ngày đầu vào mà không cần một ngã ba mới. Vì vậy, chúng ta có thể sử dụng sed, pastevà datetheo cách này như vậy mà mỗi người duy nhất được sinh ra một lần (2x cho sed) bất kể như thế nào lớn đầu vào là:

$ paste -d '\n' <( sed '2~2d;y/#/@/' epoch.txt | date -f - ) <( sed '1~2d' epoch.txt )
Wed Aug 24 07:09:55 PDT 2016
ll /data/holding/email
Wed Aug 24 07:11:46 PDT 2016
cat /etc/rsyslog.conf
Wed Aug 24 07:13:58 PDT 2016
ll /data/holding/web
$ 

• Hai sedlệnh tương ứng xóa các dòng chẵn và lẻ của đầu vào; cái đầu tiên cũng thay thế #bằng@ để cung cấp cho các định dạng kỷ nguyên dấu thời gian chính xác.
• Đầu sedra đầu tiên sau đó được chuyển sang date -fthực hiện chuyển đổi ngày bắt buộc, cho mỗi dòng đầu vào mà nó nhận được.
• Hai luồng này sau đó được xen kẽ vào đầu ra cần thiết bằng cách sử dụng paste. Các <( )cấu trúc là các thay thế quá trình bash giúp đánh lừa hiệu quả khi nghĩ rằng nó đang đọc từ các tên tệp đã cho khi thực tế nó đang đọc đầu ra được dẫn từ lệnh bên trong. -d '\n'nói pasteđể phân tách các dòng đầu ra lẻ và chẵn với một dòng mới. Bạn có thể thay đổi (hoặc xóa) cái này nếu ví dụ bạn muốn dấu thời gian trên cùng dòng với văn bản khác.

Lưu ý rằng có một số GNU và Bashism trong lệnh này. Điều này không tuân thủ Posix và không được dự kiến ​​là có thể mang theo bên ngoài thế giới GNU / Linux. Ví dụ, date -flàm một cái gì đó khác trên datebiến thể BSD của OSXes .

Giả sử định dạng ngày bạn có trong bài viết của bạn là những gì bạn muốn, regex sau đây sẽ phù hợp với nhu cầu của bạn.

sed -E 's/\#(1[0-9]{9})(.*)/echo \1 $(date -d @\1)/e' log.file

Hãy chú ý đến thực tế điều này sẽ chỉ thay thế một epoch trên mỗi dòng.

sử dụng sed:

sed -r 's/\#([0-9]*)/echo $(date -d @\1)/eg' test.txt

đầu ra:

ر أغس 24 16:09:55 EET 2016
ll /data/holding/email
ر أغس 24 16:11:46 EET 2016
cat /etc/rsyslog.conf
ر أغس 24 16:13:58 EET 2016
ll /data/holding/web

như ngôn ngữ địa phương của tôi là tiếng Ả Rập :)

Giải pháp của tôi làm thế nào để làm điều đó trong một đường ống

cat test.txt | sed 's/^/echo "/; s/\([0-9]\{10\}\)/`date -d @\1`/; s/$/"/' | bash