Cách trích xuất nhật ký giữa hai tem thời gian

Tôi muốn trích xuất tất cả các bản ghi giữa hai dấu thời gian. Một số dòng có thể không có dấu thời gian, nhưng tôi cũng muốn những dòng đó. Nói tóm lại, tôi muốn mọi dòng rơi dưới hai dấu thời gian. Cấu trúc nhật ký của tôi trông như sau:

[2014-04-07 23:59:58] CheckForCallAction [ERROR] Exception caught in +CheckForCallAction :: null
--Checking user--
Post
[2014-04-08 00:00:03] MobileAppRequestFilter [DEBUG] Action requested checkforcall

Giả sử tôi muốn trích xuất mọi thứ giữa 2014-04-07 23:00và 2014-04-08 02:00.

Xin lưu ý tem thời gian bắt đầu hoặc tem thời gian kết thúc có thể không có trong nhật ký, nhưng tôi muốn mọi dòng giữa hai tem thời gian này.

Bạn có thể sử dụng awkcho việc này:

$ awk -F'[]]|[[]' \
  '$0 ~ /^\[/ && $2 >= "2014-04-07 23:00" { p=1 }
   $0 ~ /^\[/ && $2 >= "2014-04-08 02:00" { p=0 }
                                        p { print $0 }' log

Ở đâu:

• -Fchỉ định các ký tự [và ]dưới dạng dấu tách trường bằng biểu thức chính quy
• $0 tham chiếu một dòng hoàn chỉnh
• $2 tham chiếu trường ngày
• p được sử dụng như là biến boolean bảo vệ việc in ấn thực tế
• $0 ~ /regex/ là đúng nếu regex khớp $0
• >=được sử dụng để so sánh chuỗi từ vựng (tương đương với ví dụ strcmp())

Biến thể

Dòng lệnh trên thực hiện khớp thời gian mở đúng . Để có được ngữ nghĩa khoảng thời gian đóng, chỉ cần tăng ngày đúng của bạn, ví dụ:

$ awk -F'[]]|[[]' \
  '$0 ~ /^\[/ && $2 >= "2014-04-07 23:00"    { p=1 }
   $0 ~ /^\[/ && $2 >= "2014-04-08 02:00:01" { p=0 }
                                           p { print $0 }' log

Trong trường hợp bạn muốn khớp dấu thời gian ở định dạng khác, bạn phải sửa đổi $0 ~ /^\[/biểu thức phụ. Lưu ý rằng nó được sử dụng để bỏ qua các dòng mà không có bất kỳ dấu thời gian nào từ logic in / tắt in.

Ví dụ: đối với định dạng dấu thời gian như YYYY-MM-DD HH24:MI:SS(không có []dấu ngoặc), bạn có thể sửa đổi lệnh như sau:

$ awk \
  '$0 ~ /^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-2][0-9]:[0-5][0-9]:[0-5][0-9]/
      {
        if ($1" "$2 >= "2014-04-07 23:00")     p=1;
        if ($1" "$2 >= "2014-04-08 02:00:01")  p=0;
      }
    p { print $0 }' log

(lưu ý rằng dấu tách trường cũng được thay đổi - thành chuyển tiếp trống / không trống, mặc định)

Kiểm tra dategreptại https://github.com/mdom/dargetrep

Sự miêu tả:

dargetrep tìm kiếm các tệp đầu vào được đặt tên cho các dòng khớp với phạm vi ngày và in chúng ra thiết bị xuất chuẩn.

Nếu dargetrep hoạt động trên một tệp có thể tìm kiếm, nó có thể thực hiện tìm kiếm nhị phân để tìm dòng đầu tiên và cuối cùng để in khá hiệu quả. dargetrep cũng có thể đọc từ stdin nếu một đối số tên tệp chỉ là dấu gạch nối, nhưng trong trường hợp này, nó phải phân tích từng dòng đơn sẽ chậm hơn.

Ví dụ sử dụng:

dategrep --start "12:00" --end "12:15" --format "%b %d %H:%M:%S" syslog
dategrep --end "12:15" --format "%b %d %H:%M:%S" syslog
dategrep --last-minutes 5 --format "%b %d %H:%M:%S" syslog
dategrep --last-minutes 5 --format rsyslog syslog
cat syslog | dategrep --end "12:15" -

Mặc dù giới hạn này có thể làm cho điều này không phù hợp với câu hỏi chính xác của bạn:

Tại thời điểm này, dargetrep sẽ chết ngay khi tìm thấy một dòng không thể phân tích cú pháp. Trong phiên bản tương lai, nó sẽ có thể cấu hình.

Một thay thế cho awkhoặc một công cụ không chuẩn là sử dụng GNU grepcho các greps theo ngữ cảnh của nó. GNU grepsẽ cho phép bạn chỉ định số lượng dòng sau khi khớp tích cực để in -Avà các dòng trước để in với -BVí dụ:

[davisja5@xxxxxxlp01 ~]$ cat test.txt
Ignore this line, please.
This one too while you're at it...
[2014-04-07 23:59:58] CheckForCallAction [ERROR] Exception caught in +CheckForCallAction :: null
--Checking user--
Post
[2014-04-08 00:00:03] MobileAppRequestFilter [DEBUG] Action requested checkforcall
we don't
want these lines.


[davisja5@xxxxxxlp01 ~]$ egrep "^\[2014-04-07 23:59:58\]" test.txt -A 10000 | egrep "^\[2014-04-08 00:00:03\]" -B 10000
[2014-04-07 23:59:58] CheckForCallAction [ERROR] Exception caught in +CheckForCallAction :: null
--Checking user--
Post
[2014-04-08 00:00:03] MobileAppRequestFilter [DEBUG] Action requested checkforcall

Về cơ bản, phần trên nói về grepviệc in 10.000 dòng theo dòng phù hợp với mẫu bạn muốn bắt đầu, thực hiện đầu ra của bạn bắt đầu ở nơi bạn muốn và đi đến cuối (hy vọng) trong khi dòng thứ hai egreptrong đường ống dẫn nó chỉ in dòng với dấu phân cách kết thúc và 10.000 dòng trước nó. Kết quả cuối cùng của hai điều này là bắt đầu từ nơi bạn muốn và sẽ không đi qua nơi bạn bảo nó dừng lại.

10.000 chỉ là con số tôi nghĩ ra, hãy thoải mái đổi nó thành một triệu nếu bạn nghĩ rằng sản lượng của bạn sẽ quá dài.

Sử dụng sed:

#!/bin/bash

E_BADARGS=23

if [ $# -ne "3" ]
then
  echo "Usage: `basename $0` \"<start_date>\" \"<end_date>\" file"
  echo "NOTE:Make sure to put dates in between double quotes"
  exit $E_BADARGS
fi 

isDatePresent(){
        #check if given date exists in file.
        local date=$1
        local file=$2
        grep -q "$date" "$file"
        return $?

}

convertToEpoch(){
    #converts to epoch time
    local _date=$1
    local epoch_date=`date --date="$_date" +%s`
    echo $epoch_date
}

convertFromEpoch(){
    #converts to date/time format from epoch
    local epoch_date=$1
    local _date=`date  --date="@$epoch_date" +"%F %T"`
    echo $_date

}

getDates(){
        # collects all dates at beginning of lines in a file, converts them to epoch and returns a sequence of numbers
        local file="$1"
        local state="$2"
        local i=0
        local date_array=( )
        if [[ "$state" -eq "S" ]];then
            datelist=`cat "$file" | sed -r -e "s/^\[([^\[]+)\].*/\1/" | egrep  "^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}"`
        elif [[ "$state" -eq "E" ]];then
            datelist=`tac "$file" | sed -r -e "s/^\[([^\[]+)\].*/\1/" | egrep  "^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}"`

        else
            echo "Something went wrong while getting dates..." 1>&2
            exit 500
        fi

        while read _date
            do
                epoch_date=`convertToEpoch "$_date"`
                date_array[$i]=$epoch_date
                #echo "$_date" "$epoch_date" 1>&2

            (( i++ ))
            done<<<"$datelist"
        echo ${date_array[@]}   


}

findneighbours(){
    # search next best date if date is not in the file using recursivity
    IFS="$old_IFS"
    local elt=$1
    shift
    local state="$1"
    shift
    local -a array=( "$@" ) 

    index_pivot=`expr ${#array[@]} / 2`
    echo "#array="${#array[@]} ";array="${array[@]} ";index_pivot="$index_pivot 1>&2
    if [ "$index_pivot" -eq 1 -a ${#array[@]} -eq 2 ];then

        if [ "$state" == "E" ];then
            echo ${array[0]}
        elif [ "$state" == "S" ];then
            echo ${array[(( ${#array[@]} - 1 ))]} 
        else
            echo "State" $state "undefined" 1>&2
            exit 100
        fi

    else
        echo "elt with index_pivot="$index_pivot":"${array[$index_pivot]} 1>&2
        if [ $elt -lt ${array[$index_pivot]} ];then
            echo "elt is smaller than pivot" 1>&2
            array=( ${array[@]:0:(($index_pivot + 1)) } )
        else
            echo "elt is bigger than pivot" 1>&2
            array=( ${array[@]:$index_pivot:(( ${#array[@]} - 1 ))} ) 
        fi
        findneighbours "$elt" "$state" "${array[@]}"
    fi
}



findFirstDate(){
    local file="$1"
    echo "Looking for first date in file" 1>&2
    while read line
        do 
            echo "$line" | egrep -q "^\[[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}\]" &>/dev/null
            if [ "$?" -eq "0" ]
            then
                #echo "line=" "$line" 1>&2
                firstdate=`echo "$line" | sed -r -e "s/^\[([^\[]+)\].*/\1/"`
                echo "$firstdate"
                break
            else
                echo $? 1>&2
            fi
        done< <( cat "$file" )



}

findLastDate(){
    local file="$1"
    echo "Looking for last date in file" 1>&2
    while read line
        do 
            echo "$line" | egrep -q "^\[[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}\]" &>/dev/null
            if [ "$?" -eq "0" ]
            then
                #echo "line=" "$line" 1>&2
                lastdate=`echo "$line" | sed -r -e "s/^\[([^\[]+)\].*/\1/"`
                echo "$lastdate"
                break
            else
                echo $? 1>&2
            fi
        done< <( tac "$file" )


}

findBestDate(){

        IFS="$old_IFS"
        local initdate="$1"
        local file="$2"
        local state="$3"
        local first_elts="$4"
        local last_elts="$5"
        local date_array=( )
        local initdate_epoch=`convertToEpoch "$initdate"`   

        if [[ $initdate_epoch -lt $first_elt ]];then
            echo `convertFromEpoch "$first_elt"`
        elif [[ $initdate_epoch -gt $last_elt ]];then
            echo `convertFromEpoch "$last_elt"` 

        else
            date_array=( `getDates "$file" "$state"` )
            echo "date_array="${date_array[@]} 1>&2
            #first_elt=${date_array[0]}
            #last_elt=${date_array[(( ${#date_array[@]} - 1 ))]}

            echo `convertFromEpoch $(findneighbours "$initdate_epoch" "$state" "${date_array[@]}")`

        fi

}


main(){
    init_date_start="$1"
    init_date_end="$2"
    filename="$3"
    echo "problem start.." 1>&2
    date_array=( "$init_date_start","$init_date_end"  )
    flag_array=( 0 0 )
    i=0
    #echo "$IFS" | cat -vte
    old_IFS="$IFS"
    #changing separator to avoid whitespace issue in date/time format
    IFS=,
    for _date in ${date_array[@]}
    do
        #IFS="$old_IFS"
        #echo "$IFS" | cat -vte
        if isDatePresent "$_date" "$filename";then
            if [ "$i" -eq 0 ];then 
                echo "Starting date exists" 1>&2
                #echo "date_start=""$_date" 1>&2
                date_start="$_date"
            else
                echo "Ending date exists" 1>&2
                #echo "date_end=""$_date" 1>&2
                date_end="$_date"
            fi

        else
            if [ "$i" -eq 0 ];then 
                echo "start date $_date not found" 1>&2
            else
                echo "end date $_date not found" 1>&2
            fi
            flag_array[$i]=1
        fi
        #IFS=,
        (( i++ ))
    done

    IFS="$old_IFS"
    if [ ${flag_array[0]} -eq 1 -o ${flag_array[1]} -eq 1 ];then

        first_elt=`convertToEpoch "$(findFirstDate "$filename")"`
        last_elt=`convertToEpoch "$(findLastDate "$filename")"`
        border_dates_array=( "$first_elt","$last_elt" )

        #echo "first_elt=" $first_elt "last_elt=" $last_elt 1>&2
        i=0
        IFS=,
        for _date in ${date_array[@]}
        do
            if [ $i -eq 0 -a ${flag_array[$i]} -eq 1 ];then
                date_start=`findBestDate "$_date" "$filename" "S" "${border_dates_array[@]}"`
            elif [ $i -eq 1 -a ${flag_array[$i]} -eq 1 ];then
                date_end=`findBestDate "$_date" "$filename" "E" "${border_dates_array[@]}"`
            fi

            (( i++ ))
        done
    fi


    sed -r -n "/^\[${date_start}\]/,/^\[${date_end}\]/p" "$filename"

}


main "$1" "$2" "$3"

Sao chép này trong một tập tin. Nếu bạn không muốn xem thông tin gỡ lỗi, gỡ lỗi được gửi đến stderr, vì vậy chỉ cần thêm "2> / dev / null"