Làm thế nào để gửi tệp văn bản có chứa một số dữ liệu nhị phân?

trả lại grep

Đối sánh tệp nhị phân test.log

Ví dụ

echo    "line1 re \x00\r\nline2\r\nline3 re\r\n" > test.log  # in zsh
echo -e "line1 re \x00\r\nline2\r\nline3 re\r\n" > test.log  # in bash
grep re test.log

Tôi ước kết quả sẽ hiển thị dòng1 và dòng3 (tổng hai dòng).

Có thể sử dụng trchuyển đổi dữ liệu không thể in thành dữ liệu có thể đọc được để cho phép grep hoạt động trở lại không?

Bạn có thể chạy tệp dữ liệu qua cat -v, ví dụ:

$ cat -v tmp/test.log | grep re
line1 re ^@^M
line3 re^M

mà sau đó có thể được xử lý hậu kỳ hơn nữa để loại bỏ rác; điều này tương tự nhất với truy vấn của bạn về việc sử dụng trcho nhiệm vụ.

grep -a

Nó không thể trở nên đơn giản hơn thế.

Có một cách là dù sao cũng chỉ cần coi các tệp nhị phân là văn bản, grep --textnhưng điều này cũng có thể dẫn đến thông tin nhị phân được gửi đến thiết bị đầu cuối của bạn. Đó thực sự không phải là một ý tưởng hay nếu bạn đang chạy một thiết bị đầu cuối thông dịch luồng đầu ra (chẳng hạn như VT / DEC hoặc nhiều thiết bị khác).

Ngoài ra, bạn có thể gửi tệp của mình thông qua trlệnh sau:

tr '[\000-\011\013-\037\177-\377]' '.' <test.log | grep whatever

Điều này sẽ thay đổi bất kỳ thứ gì nhỏ hơn ký tự khoảng trắng (ngoại trừ dòng mới) và bất kỳ thứ gì lớn hơn 126, thành một .ký tự, chỉ để lại các bản in.

Nếu bạn muốn mọi ký tự "bất hợp pháp" được thay thế bằng một ký tự khác, bạn có thể sử dụng một cái gì đó như chương trình C sau, một bộ lọc đầu vào tiêu chuẩn cổ điển:

#include<stdio.h>
int main (void) {
    int ch;
    while ((ch = getchar()) != EOF) {
        if ((ch == '\n') || ((ch >= ' ') && (ch <= '~'))) {
            putchar (ch);
        } else {
            printf ("{{%02x}}", ch);
        }
    }
    return 0;
}

Điều này sẽ cung cấp cho bạn {{NN}}, đâu NNlà mã hex cho ký tự. Bạn có thể chỉ cần điều chỉnh printfbất kỳ kiểu đầu ra nào bạn muốn.

Bạn có thể thấy chương trình đó đang hoạt động tại đây, trong đó:

pax$ printf 'Hello,\tBob\nGoodbye, Bob\n' | ./filterProg
Hello,{{09}}Bob
Goodbye, Bob

Bạn có thể sử dụng "chuỗi" để trích xuất chuỗi từ tệp nhị phân, chẳng hạn

strings binary.file | grep foo

Bạn có thể buộc grep xem các tệp nhị phân với:

grep --binary-files=text

Bạn cũng có thể muốn thêm -o( --only-matching) để bạn không nhận được hàng tấn ngôn ngữ vô nghĩa nhị phân sẽ làm hỏng thiết bị đầu cuối của bạn.

Bắt đầu với Grep 2.21, các tệp nhị phân được xử lý khác nhau :

Khi tìm kiếm dữ liệu nhị phân, grep bây giờ có thể coi các byte không phải văn bản là dấu kết thúc dòng. Điều này có thể thúc đẩy hiệu suất đáng kể.

Vì vậy, những gì xảy ra bây giờ là với dữ liệu nhị phân, tất cả các byte không phải văn bản (bao gồm cả dòng mới) đều được coi là dấu cuối dòng. Nếu bạn muốn thay đổi hành vi này, bạn có thể:

• sử dụng --text. Điều này sẽ đảm bảo rằng chỉ các dòng mới là dấu chấm hết dòng

• sử dụng --null-data. Điều này sẽ đảm bảo rằng chỉ các byte rỗng là dấu chấm hết dòng

grep -a sẽ buộc grep tìm kiếm và xuất ra từ một tệp mà grep nghĩ là tệp nhị phân. grep -a re test.log

Như James Selvakumar đã nói, grep -acó một mẹo nhỏ. -a hoặc --text buộc Grep xử lý dòng đầu vào dưới dạng văn bản. Xem Manpage http://unixhelp.ed.ac.uk/CGI/man-cgi?grep

thử

cat test.log | grep -a somestring

bạn có thể làm

strings test.log | grep -i

điều này sẽ chuyển đổi đầu ra là một chuỗi có thể đọc được thành grep.

Bạn cũng có thể thử công cụ Word Extractor . Word Extractor có thể được sử dụng với bất kỳ tệp nào trong máy tính của bạn để tách các chuỗi chứa văn bản / từ của con người khỏi mã nhị phân (ứng dụng exe, DLL).

Đây là những gì tôi đã sử dụng trong một hệ thống chưa cài đặt lệnh "string"

cat yourfilename | tr -cd "[:print:]"

Thao tác này sẽ in văn bản và xóa các ký tự không in được trong một lần rơi, không giống như "cat -v filename", yêu cầu một số xử lý hậu kỳ để loại bỏ những thứ không mong muốn. Lưu ý rằng một số dữ liệu nhị phân có thể in được, vì vậy bạn vẫn sẽ nhận được một số thứ vô nghĩa giữa những thứ tốt. Tôi nghĩ rằng các chuỗi cũng loại bỏ những thứ vô nghĩa này nếu bạn có thể sử dụng nó.