Văn bản giữa hai thẻ

Tôi muốn lấy bất cứ thứ gì nằm giữa hai thẻ này - <tr> </tr>- từ một tài liệu html. Bây giờ tôi không có bất kỳ yêu cầu html cụ thể nào sẽ đảm bảo cho trình phân tích cú pháp html. Tôi chỉ đơn giản cần một cái gì đó mà trận đấu <tr>và </tr>và được tất cả mọi thứ ở giữa và có thể có nhiều trs. Tôi đã thử awk, nó hoạt động, nhưng vì một số lý do, cuối cùng nó cho tôi các bản sao của mỗi hàng được trích xuất.

awk '
/<TR/{p=1; s=$0}
p && /<\/TR>/{print $0 FS s; s=""; p=0}
p' htmlfile> newfile

Làm thế nào để đi về điều này?

Nếu bạn chỉ muốn ...tất cả <tr>...</tr>làm:

grep -o '<tr>.*</tr>' HTMLFILE | sed 's/\(<tr>\|<\/tr>\)//g' > NEWFILE

Đối với đa dòng làm:

tr "\n" "|" < HTMLFILE | grep -o '<tr>.*</tr>' | sed 's/\(<tr>\|<\/tr>\)//g;s/|/\n/g' > NEWFILE

Kiểm tra HTMLFILE trước tiên của char "|" (không thông thường, nhưng có thể) và nếu nó tồn tại, hãy đổi thành một thứ không tồn tại.

Bạn có một yêu cầu bảo đảm một trình phân tích cú pháp HTML: bạn cần phân tích cú pháp HTML. HTML của Perl :: TreeBuilder , BeautifulSoup của Python và các công cụ khác rất dễ sử dụng, dễ dàng hơn so với việc viết các biểu thức thông thường phức tạp và dễ vỡ.

perl -MHTML::TreeBuilder -le '
    $html = HTML::TreeBuilder->new_from_file($ARGV[0]) or die $!;
    foreach ($html->look_down(_tag => "tr")) {
        print map {$_->as_HTML()} $_->content_list();
    }
' input.html

hoặc là

python -c 'if True:
    import sys, BeautifulSoup
    html = BeautifulSoup.BeautifulSoup(open(sys.argv[1]).read())
    for tr in html.findAll("tr"):
        print "".join(tr.contents)
' input.html

sedvà awkkhông phù hợp cho nhiệm vụ này, bạn nên sử dụng một trình phân tích cú pháp html thích hợp. Ví dụ hxselecttừ w3.org:

<htmlfile hxselect -s '\n' -c 'tr'

Nếu rubycó sẵn bạn có thể làm như sau

ruby -e 'puts readlines.join[/(?<=<tr>).+(?=<\/tr>)/m].gsub(/<\/?tr>/, "")' file

filetập tin html đầu vào của bạn ở đâu Lệnh thực thi một Ruby-liner. Đầu tiên, nó đọc tất cả các dòng từ filevà nối chúng thành một chuỗi , readlines.join. Sau đó, từ chuỗi, nó chọn bất cứ thứ gì giữa (nhưng không bao gồm) <tr>và <\/tr>đó là một ký tự hoặc dài hơn bất kể dòng mới , [/(?<=<tr>).+(?=<\/tr>)/m]. Sau đó, nó loại bỏ bất kỳ <tr>hoặc </tr>khỏi chuỗi, gsub(/<\/?tr>/, "")(điều này là cần thiết để xử lý các trthẻ lồng nhau ). Cuối cùng, nó in chuỗi , puts.

Bạn nói rằng một phân tích cú pháp html không bảo hành cho bạn, nhưng nó là rất dễ sử dụng Nokogiri với rubyvà nó làm cho các lệnh đơn giản hơn.

ruby -rnokogiri -e 'puts Nokogiri::HTML(readlines.join).xpath("//tr").map { |e| e.content }' file

-rnokogiritải Nokogiri. Nokogiri::HTML(readlines.join)đọc tất cả các dòng của file. xpath("//tr")chọn ra mọi tryếu tố và map { |e| e.content }chọn ra nội dung cho từng yếu tố, tức là những gì nằm giữa <tr>và </tr>.

grep

Để lấy nội dung trong trthẻ qua nhiều dòng, xargsví dụ: chuyển qua nội dung trước:

curl -sL https://www.iana.org/ | xargs | egrep -o "<tr>.*?</tr>"

Để chỉ trả lại HTML bên trong, hãy sử dụng:

curl -sL https://www.iana.org/ | xargs | grep -Po "<tr>\K(.*?)</tr>" | sed "s/..tr.//g"

^{Kiểm tra cú pháp cho perlrecác mẫu mở rộng .}

^{Lưu ý: Để có hiệu suất nhanh hơn, bạn có thể xem xét ripgrepcái nào có cú pháp tương tự.}

pup

Ví dụ sử dụng pup(sử dụng bộ chọn CSS ):

pup -f myfile.html tr

Để chỉ in văn bản không có thẻ, sử dụng : pup -f myfile.html tr text{}.

Dưới đây là một vài ví dụ với curl:

curl -sL https://www.iana.org/ | pup tr text{}
pup -f <(curl -sL https://www.iana.org/) tr text{}

xpup

Ví dụ sử dụng xpupđể phân tích cú pháp HTML / XML (hỗ trợ XPath):

xpup -f myfile.html "//tr"

nếu nó chỉ là một danh sách nhanh của <tr>s thì điều này có thể giúp:

perl -ne 'print if /<tr>/../</tr>/' your.html > TRs.log

chúc mừng