Cách sử dụng grep và cắt theo tập lệnh để lấy URL trang web từ tệp HTML

Tôi đang cố gắng sử dụng grep và cắt để trích xuất URL từ tệp HTML. Các liên kết trông giống như:

<a href="http://examplewebsite.com/">

Các trang web khác có .net, .govnhưng tôi cho rằng tôi có thể đưa ra điểm dừng ngay trước đó >. Vì vậy, tôi biết tôi có thể sử dụng grep và cắt bằng cách nào đó để cắt mọi thứ trước http và sau .com, nhưng tôi đã bị mắc kẹt trong một thời gian.

Như tôi đã nói trong nhận xét của mình, nói chung không nên phân tích HTML bằng Biểu thức chính quy, nhưng đôi khi bạn có thể thoát khỏi nó nếu HTML mà bạn đang phân tích cú pháp hoạt động tốt.

Để chỉ nhận các URL hrefthuộc tính của <a>các thành phần, tôi thấy dễ dàng nhất để làm điều đó trong nhiều giai đoạn. Từ ý kiến ​​của bạn, có vẻ như bạn chỉ muốn tên miền cấp cao nhất chứ không phải URL đầy đủ. Trong trường hợp đó, bạn có thể sử dụng một cái gì đó như thế này:

grep -Eoi '<a [^>]+>' source.html |
grep -Eo 'href="[^\"]+"' | 
grep -Eo '(http|https)://[^/"]+'

nơi source.htmlchứa tệp HTML để phân tích cú pháp.

Mã này sẽ in tất cả các URL cấp cao nhất xuất hiện dưới dạng hrefthuộc tính của bất kỳ <a>thành phần nào trong mỗi dòng. Các -itùy chọn để là người đầu tiên greplệnh là để đảm bảo rằng nó sẽ làm việc trên cả hai <a>và <A>các yếu tố. Tôi đoán bạn cũng có thể cung cấp -icho người thứ 2 grepđể nắm bắt các HREFthuộc tính chữ hoa , OTOH, tôi muốn bỏ qua HTML bị hỏng như vậy. :)

Để xử lý nội dung của http://google.com/

wget -qO- http://google.com/ |
grep -Eoi '<a [^>]+>' | 
grep -Eo 'href="[^\"]+"' | 
grep -Eo '(http|https)://[^/"]+'

đầu ra

http://www.google.com.au
http://maps.google.com.au
https://play.google.com
http://www.youtube.com
http://news.google.com.au
https://mail.google.com
https://drive.google.com
http://www.google.com.au
http://www.google.com.au
https://accounts.google.com
http://www.google.com.au
https://www.google.com
https://plus.google.com
http://www.google.com.au

Đầu ra của tôi hơi khác so với các ví dụ khác khi tôi được chuyển hướng đến trang Google của Úc.

Không chắc chắn nếu bạn bị giới hạn về các công cụ:

Nhưng regex có thể không phải là cách tốt nhất để đi như đã đề cập, nhưng đây là một ví dụ mà tôi kết hợp lại:

cat urls.html | grep -Eo "(http|https)://[a-zA-Z0-9./?=_-]*" | sort -u

• grep -E: giống như egrep
• grep -o: chỉ xuất ra những gì đã được grepping
• (http | https): là một hoặc / hoặc
• az: là tất cả chữ thường
• AZ: là tất cả các trường hợp uper
• . : là dấu chấm
• \?: Là ?
• *: đang lặp lại nhóm [...]
• uniq: sẽ loại bỏ bất kỳ bản sao

Đầu ra:

bob@bob-NE722:~s$  wget -qO- https://stackoverflow.com/ | grep -Eo "(http|https)://[a-zA-Z0-9./?=_-]*" | sort -u
https://stackauth.com
https://meta.stackoverflow.com
https://cdn.sstatic.net/Img/svg-icons
https://stackoverflow.com
https://www.stackoverflowbusiness.com/talent
https://www.stackoverflowbusiness.com/advertising
https://stackoverflow.com/users/login?ssrc=head
https://stackoverflow.com/users/signup?ssrc=head
https://stackoverflow.com
https://stackoverflow.com/help
https://chat.stackoverflow.com
https://meta.stackoverflow.com
...

Bạn cũng có thể thêm vào \dđể bắt các loại số khác.

Nếu grep của bạn hỗ trợ biểu thức Perl:

grep -Po '(?<=href=")[^"]*(?=")'

• (?<=href=")và (?=")là lookaround biểu cho hrefthuộc tính. Điều này cần -Ptùy chọn.
• -o in văn bản phù hợp.

Ví dụ:

$ curl -sL https://www.google.com | grep -Po '(?<=href=")[^"]*(?=")'
/search?
https://www.google.co.in/imghp?hl=en&tab=wi
https://maps.google.co.in/maps?hl=en&tab=wl
https://play.google.com/?hl=en&tab=w8
https://www.youtube.com/?gl=IN&tab=w1
https://news.google.co.in/nwshp?hl=en&tab=wn
...

Như thường lệ, không có gì đảm bảo rằng đây là các URI hợp lệ hoặc HTML mà bạn phân tích cú pháp sẽ hợp lệ.

Là một thay thế không regex , sử dụng con :

pup 'a[href] attr{href}' < yourfile.html

Sẽ tìm thấy tất cả các ayếu tố có hrefthuộc tính, sau đó hiển thị giá trị của hrefthuộc tính.

Để cài đặt pup, bạn cần Go (ngôn ngữ lập trình):

sudo apt-get install golang
sudo go get github.com/ericchiang/pup

Ưu điểm của giải pháp này là nó không phụ thuộc vào HTML được định dạng chính xác .

Tôi đã tìm thấy một giải pháp ở đây là IMHO đơn giản hơn nhiều và có khả năng nhanh hơn những gì được đề xuất ở đây. Tôi đã điều chỉnh một chút để hỗ trợ các tệp https. Nhưng phiên bản TD; TR là ...

PS: Bạn có thể thay thế URL trang web bằng một đường dẫn đến một tệp và nó sẽ hoạt động theo cùng một cách.

lynx -dump -listonly -nonumbers "http://www.goggle.com" > links.txt

lynx -dump -listonly -nonumbers "some-file.html" > links.txt

Nếu bạn chỉ muốn xem các liên kết thay vì đặt chúng vào một tệp, thì hãy thử điều này thay vì ...

lynx -dump -listonly -nonumbers "http://www.google.com"

lynx -dump -listonly -nonumbers "some-file.html"

Kết quả sẽ trông giống như sau ...

http://www.google.ca/imghp?hl=en&tab=wi
http://maps.google.ca/maps?hl=en&tab=wl
https://play.google.com/?hl=en&tab=w8
http://www.youtube.com/?gl=CA&tab=w1
http://news.google.ca/nwshp?hl=en&tab=wn
https://mail.google.com/mail/?tab=wm
https://drive.google.com/?tab=wo
https://www.google.ca/intl/en/options/
http://www.google.ca/history/optout?hl=en
...
etc.

Đối với trường hợp sử dụng của tôi, điều này làm việc tốt. Nhưng hãy cẩn thận với thực tế là ngày nay, mọi người thêm các liên kết như src = "// blah.tld" cho URI CDN của các thư viện. Tôi không muốn nhìn thấy những người trong các liên kết lấy.

Không cần phải cố gắng kiểm tra for href hoặc các nguồn khác cho các liên kết vì "lynx -dump" theo mặc định sẽ trích xuất tất cả các liên kết có thể nhấp từ một trang nhất định. Vì vậy, suy nghĩ duy nhất bạn cần làm sau đó là phân tích kết quả của "lynx -dump" bằng cách sử dụng grep để có được phiên bản thô sạch hơn cho cùng kết quả.

wget -qO- google.com |
tr \" \\n | grep https\*://

... Có lẽ sẽ làm khá tốt. Như đã viết, nó in:

http://schema.org/WebPage
http://www.google.com/imghp?hl=en&tab=wi
http://maps.google.com/maps?hl=en&tab=wl
https://play.google.com/?hl=en&tab=w8
http://www.youtube.com/?tab=w1
http://news.google.com/nwshp?hl=en&tab=wn
https://mail.google.com/mail/?tab=wm
https://drive.google.com/?tab=wo
http://www.google.com/intl/en/options/
http://www.google.com/history/optout?hl=en
https://accounts.google.com/ServiceLogin?hl=en&continue=http://www.google.com/
https://www.google.com/culturalinstitute/project/the-holocaust?utm_source=google&utm_medium=hppromo&utm_campaign=auschwitz_q1&utm_content=desktop
https://plus.google.com/116899029375914044550

Nếu điều quan trọng là bạn chỉ khớp các liên kết và trong số các tên miền cấp cao nhất đó, bạn có thể thực hiện:

wget -qO- google.com |
sed '/\n/P;//!s|<a[^>]*\(https*://[^/"]*\)|\n\1\n|;D'

... Hoặc một cái gì đó tương tự - mặc dù đối với một số seds, bạn có thể cần phải thay thế một ký tự \newline theo nghĩa đen cho mỗi hai ns cuối cùng .

Như đã viết, lệnh trên in ra:

http://www.google.com
http://maps.google.com
https://play.google.com
http://www.youtube.com
http://news.google.com
https://mail.google.com
https://drive.google.com
http://www.google.com
http://www.google.com
http://www.google.com
https://www.google.com
https://plus.google.com

... Và cho cả hai trường hợp (nhưng có lẽ hữu ích nhất với cái sau), bạn có thể giải quyết một |sort -ubộ lọc đến cuối để lấy danh sách sorted và bỏ các bản sao.

Ngắn nhất

grep -r http . --color

echo "<a href="http://examplewebsite.com/">"|sed -r 's:<.*"::g'|sed 's:/">$::g'