Tôi cần lấy URL cuối cùng sau khi chuyển hướng trang tốt hơn là bằng curl hoặc wget.
Ví dụ: http://google.com có thể chuyển hướng đến http://www.google.com .
Nội dung rất dễ lấy (ví dụ curl --max-redirs 10 http://google.com -L:), nhưng tôi chỉ quan tâm đến url cuối cùng (trong trường hợp cũ là http://www.google.com ).
Có cách nào để thực hiện việc này bằng cách chỉ sử dụng các công cụ tích hợp sẵn của Linux không? (chỉ dòng lệnh)
Câu trả lời:
curlcủa -wtùy chọn và biến phụ url_effectivelà những gì bạn đang tìm kiếm.
Cái gì đó như
curl -Ls -o /dev/null -w %{url_effective} http://google.comThêm thông tin
-L Theo dõi chuyển hướng -s Chế độ im lặng. Không xuất bất cứ thứ gì -o FILE Ghi đầu ra vào <file> thay vì stdout -w ĐỊNH DẠNG Những gì cần xuất sau khi hoàn thành
Hơn
Bạn có thể muốn thêm -I(đó là chữ hoa i), điều này sẽ làm cho lệnh không tải xuống bất kỳ "nội dung" nào, nhưng sau đó nó cũng sử dụng phương thức HEAD, không phải là những gì câu hỏi bao gồm và có nguy cơ thay đổi những gì máy chủ thực hiện. Đôi khi máy chủ không phản hồi tốt với HEAD ngay cả khi chúng phản hồi tốt với GET.
:-)
-Inếu không nó sẽ thực sự tải xuống tệp.
curl -A ...để chuyển hướng đến vị trí mong đợi.
Cảm ơn, điều đó đã giúp tôi. Tôi đã thực hiện một số cải tiến và gói nó trong một tập lệnh trợ giúp "finalurl":
#!/bin/bash
curl $1 -s -L -I -o /dev/null -w '%{url_effective}'
-o xuất ra /dev/null-I không thực sự tải xuống, chỉ khám phá URL cuối cùng-s chế độ im lặng, không có thanh tiến trìnhĐiều này làm cho nó có thể gọi lệnh từ các tập lệnh khác như sau:
echo `finalurl http://someurl/`
finalurl() { curl --silent --location --head --output /dev/null --write-out '%{url_effective}' -- "$@"; }
như một tùy chọn khác:
$ curl -i http://google.com
HTTP/1.1 301 Moved Permanently
Location: http://www.google.com/
Content-Type: text/html; charset=UTF-8
Date: Sat, 19 Jun 2010 04:15:10 GMT
Expires: Mon, 19 Jul 2010 04:15:10 GMT
Cache-Control: public, max-age=2592000
Server: gws
Content-Length: 219
X-XSS-Protection: 1; mode=block
<HTML><HEAD><meta http-equiv="content-type" content="text/html;charset=utf-8">
<TITLE>301 Moved</TITLE></HEAD><BODY>
<H1>301 Moved</H1>
The document has moved
<A HREF="http://www.google.com/">here</A>.
</BODY></HTML>
Nhưng nó không vượt qua cái đầu tiên.
Bạn có thể làm điều này với wget thường. wget --content-dispositionNgoài ra, "url" nếu bạn thêm, -O /dev/nullbạn sẽ không thực sự lưu tệp.
wget -O /dev/null --content-disposition example.com
-O /dev/nullchỉ -O-. Tốt hơn:wget -O- --content-disposition example.com
Cảm ơn bạn. Tôi đã kết thúc việc triển khai các đề xuất của bạn: curl -i + grep
curl -i http://google.com -L | egrep -A 10 '301 Moved Permanently|302 Found' | grep 'Location' | awk -F': ' '{print $2}' | tail -1
Trả về trống nếu trang web không chuyển hướng, nhưng điều đó đủ tốt cho tôi vì nó hoạt động trên các chuyển hướng liên tiếp.
Có thể có lỗi, nhưng trong nháy mắt, nó hoạt động tốt.
Các tham số -L (--location)và -I (--head)vẫn thực hiện yêu cầu HEAD không cần thiết đối với url vị trí.
Nếu bạn chắc chắn rằng bạn sẽ không có nhiều hơn một chuyển hướng, tốt hơn là bạn nên tắt vị trí theo dõi và sử dụng curl-biến% {redirect_url}.
Mã này chỉ thực hiện một yêu cầu HEAD đến URL được chỉ định và lấy redirect_url từ location-header:
curl --head --silent --write-out "%{redirect_url}\n" --output /dev/null "https://""goo.gl/QeJeQ4"
all_videos_link.txt - 50 liên kết goo.gl + bit.ly chuyển hướng đến youtube
time while read -r line; do
curl -kIsL -w "%{url_effective}\n" -o /dev/null $line
done < all_videos_link.txt
Các kết quả:
real 1m40.832s
user 0m9.266s
sys 0m15.375s
time while read -r line; do
curl -kIs -w "%{redirect_url}\n" -o /dev/null $line
done < all_videos_link.txt
Các kết quả:
real 0m51.037s
user 0m5.297s
sys 0m8.094s
Tôi không chắc cách thực hiện với curl, nhưng libwww-perl cài đặt bí danh GET.
$ GET -S -d -e http://google.com
GET http://google.com --> 301 Moved Permanently
GET http://www.google.com/ --> 302 Found
GET http://www.google.ca/ --> 200 OK
Cache-Control: private, max-age=0
Connection: close
Date: Sat, 19 Jun 2010 04:11:01 GMT
Server: gws
Content-Type: text/html; charset=ISO-8859-1
Expires: -1
Client-Date: Sat, 19 Jun 2010 04:11:01 GMT
Client-Peer: 74.125.155.105:80
Client-Response-Num: 1
Set-Cookie: PREF=ID=a1925ca9f8af11b9:TM=1276920661:LM=1276920661:S=ULFrHqOiFDDzDVFB; expires=Mon, 18-Jun-2012 04:11:01 GMT; path=/; domain=.google.ca
Title: Google
X-XSS-Protection: 1; mode=block
Bạn có thể thử với nó?
#!/bin/bash
LOCATION=`curl -I 'http://your-domain.com/url/redirect?r=something&a=values-VALUES_FILES&e=zip' | perl -n -e '/^Location: (.*)$/ && print "$1\n"'`
echo "$LOCATION"
Lưu ý: khi bạn thực hiện lệnh curl -I http://your-domain.com phải sử dụng dấu nháy đơn trong lệnh như curl -I 'http://your-domain.com'