Cách lấy URL từ tệp bằng cách sử dụng tập lệnh shell

Tôi có một tập tin bao gồm một URL . Tôi đang cố gắng lấy URL từ tệp đó bằng cách sử dụng tập lệnh shell.

Trong tệp, URL là như thế này:

('URL', 'http://url.com');

Tôi đã cố gắng sử dụng như sau:

cat file.php | grep 'URL' | awk '{ print $2 }'

Nó cho đầu ra là:

'http://url.com');

Nhưng tôi chỉ cần lấy url.commột biến trong tập lệnh shell. Làm thế nào tôi có thể thực hiện điều này?

Một cái gì đó như thế này?

grep 'URL' file.php | rev | cut -d "'" -f 2 | rev

hoặc là

grep 'URL' file.php | cut -d "'" -f 4 | sed s/'http:\/\/'/''/g

Để loại bỏ http: //.

Bạn có thể làm mọi thứ đơn giản grep:

grep -oP "http://\K[^']+" file.php 

Từ man grep:

   -P, --perl-regexp
          Interpret  PATTERN  as  a  Perl  regular  expression  (PCRE, see
          below).  This is highly experimental and grep  -P  may  warn  of
          unimplemented features.
   -o, --only-matching
          Print  only  the  matched  (non-empty) parts of a matching line,
          with each such part on a separate output line.

Bí quyết là sử dụng phương thức \Knào trong Perl regex discard everything matched to the left of the \K. Vì vậy, biểu thức chính quy tìm các chuỗi bắt đầu bằng http://(sau đó bị loại bỏ vì \K) theo sau là càng nhiều 'ký tự càng tốt. Kết hợp với -o, điều này có nghĩa là chỉ URL sẽ được in.

Bạn cũng có thể làm điều đó trong Perl trực tiếp:

perl -ne "print if s/.*http:\/\/(.+)\'.*/\$1/" file.php\

Thử đi,

awk -F// '{print $2}' file.php | cut -d "'" -f 1

Xem lại điều này một lần nữa và cố gắng không sử dụng gì ngoài shell Bash, một giải pháp một dòng khác là:

while read url; do url="${url##*/}" && echo "${url%%\'*}"; done < file.in > file.out

Trong đó file.in chứa danh sách url 'bẩn' và file.out sẽ chứa danh sách URL 'sạch'. Không có sự phụ thuộc bên ngoài và không cần phải sinh ra bất kỳ quy trình hoặc lớp con mới nào. Các giải thích ban đầu và một kịch bản linh hoạt hơn sau. Có một bản tóm tắt tốt về phương pháp ở đây , xem ví dụ 10-10. Đây là sự thay thế tham số dựa trên mẫu trong Bash.

Mở rộng về ý tưởng:

src="define('URL', 'http://url.com');"
src="${src##*/}"        # remove the longest string before and including /
echo "${src%%\'*}"      # remove the longest string after and including '

Kết quả:

url.com

Không cần phải gọi bất kỳ chương trình bên ngoài. Hơn nữa, tập lệnh bash sau đây get_urls.sh, cho phép bạn đọc tệp trực tiếp hoặc từ stdin:

#!/usr/bin/env bash

# usage: 
#     ./get_urls.sh 'file.in'
#     grep 'URL' 'file.in' | ./get_urls.sh

# assumptions: 
#     there is not more than one url per line of text.
#     the url of interest is a simple one.

# begin get_urls.sh

# get_url 'string'
function get_url(){
  local src="$1"
  src="${src##*/}"        # remove the longest string before and including /
  echo "${src%%\'*}"      # remove the longest string after and including '
}

# read each line.
while read line
do
  echo "$(get_url "$line")"
done < "${1:-/proc/${$}/fd/0}"

# end get_urls.sh

Nếu tất cả các dòng có chứa một URL:

awk -F"'|http://" '{print $5}' file.php 

Nếu chỉ một số dòng chứa URL:

awk -F"'|http://" '/^define/ {print $5}' file.php 

Tùy thuộc vào các dòng khác, bạn có thể cần phải thay đổi ^defineregex

Đơn giản:

php -r 'include("file.php"); echo URL;'

và nếu bạn cần xóa 'http: //', thì:

php -r 'include("file.php"); echo URL;' | sed 's!^http://\(.*\)!\1!'

Vì thế:

myURL=$(php -r 'include("file.php"); echo URL;' | sed 's!^http://\(.*\)!\1!')

Nếu bạn cần một phần nhất định của URL, bạn cần tinh chỉnh thuật ngữ của mình, một URL là tất cả những điều sau đây, đôi khi còn hơn thế:

URL := protocol://FQDN[/path][?arguments]

FQDN := [hostname.]domain.tld

Đối với tôi, các grepcâu trả lời khác được cung cấp thông tin chuỗi trả về sau liên kết.

Điều này làm việc cho tôi chỉ để rút ra url:

egrep -o "(http(s)?://){1}[^'\"]+"