Cách tìm ra URL tải xuống thực sự trên các trang web tải xuống sử dụng chuyển hướng

Giả sử tôi muốn tải xuống một cái gì đó wgetnhưng trang web có các tệp tôi cần chuyển hướng đến một trang web tự động chọn máy nhân bản cho tôi (và không có URL tệp tĩnh nào được cung cấp).

Tải xuống từ các trang web như vậy hoạt động với Firefox, nhưng làm cách nào tôi có được url thực (không chỉ liên kết đến trang chuyển hướng) để tôi có thể tải xuống các tệp này với wget?

Khi bạn đã bắt đầu chuyển tiền trong Firefox, hãy hủy nó và nhấp chuột phải vào phần tải xuống và nhấn "Sao chép liên kết tải xuống". Nếu bạn đang sử dụng phiên bản cũ hơn, nhấp chuột phải vào nó và nhấp vào "Thuộc tính" và liên kết sẽ nằm trong cửa sổ mở ra.

Trong Chrome - chạy tải xuống như bình thường - sau đó chuyển đến Menu - Tải xuống - và bạn sẽ thấy liên kết trực tiếp đã được sử dụng. Hoặc nhấn Ctrl+ Jđể mở cửa sổ.

Bạn có thể sử dụng tiện ích mở rộng LiveHTTPHeaders để xác định URL thực của tệp đang được tải xuống. (Đặc biệt chú ý đến các GET.)

Trong khi tôi cũng thích wget, tôi sử dụng một công cụ tương tự khác: cURL . cURL đặc biệt có một tính năng để theo dõi chuyển hướng ( -L / --location) và nó cũng miễn phí như wget. Tôi đề nghị giữ cả hai trong hộp công cụ của bạn; họ có một số tính năng bổ sung.

Đây là một bài viết thú vị mà tôi đã tìm hiểu về cách sử dụng wget hoặc cURL để tải xuống từ một trang web sử dụng cookie để xác thực. Có một đề cập đến tính năng định vị cURL để theo dõi chuyển hướng. (Trên thực tế, dựa trên không có cờ đặc biệt nào được đề cập cho wget, đối với tôi, wget có thể đi theo chuyển hướng ngầm ..?)

Đây là câu trả lời bạn đã tìm kiếm!

Chỉ có một giải pháp một lần nhấp bằng chứng ngu ngốc: cliget

Nó cung cấp cho bạn một lệnh curl với các tiêu đề, cookie và tất cả, với một nút sao chép vào bảng tạm, ngay trên hộp thoại tải xuống.

Dành cho Firefox : https://addons.mozilla.org/en-US/firefox/addon/cliget

Tôi không liên kết curlwget cho Chrome ở đây, vì nó xấu. Vui lòng cập nhật câu trả lời này nếu Chrome có được sự tương đương thanh lịch.

Trong những tình huống đó, Đầu tiên tôi bắt đầu tải xuống thực tế và tạm dừng nó và sao chép URL.

Tôi thường sử dụng addon firefox DownThem ALL khi có rất nhiều liên kết để tải xuống và tôi cần chọn các URL cụ thể.

Nó hiển thị URL đầy đủ và cho phép bạn thêm trong chế độ tạm dừng để bạn có thể bắt đầu tải xuống khi bạn muốn.

Là một tính năng bổ sung, bạn có thể lấy URL và bỏ qua việc tải xuống hoàn toàn.
Tuy nhiên, nếu bạn cần tải xuống tệp, DownThemAll hoạt động khá tốt dưới dạng máy gia tốc.

Bạn không thể sử dụng wget trực tiếp bằng --trust-server-namecờ? Nó sẽ tải xuống và lưu bằng tên tệp mà nó chuyển hướng đến.

Câu hỏi của bạn là một chút không rõ ràng. Có 2 url ở đây: cái bạn sử dụng và cái đã quay lại sau khi chuyển hướng. Cái đầu tiên bạn nên biết, vì nó có nguồn gốc từ máy của bạn, trong khi cái thứ hai là cái được hiển thị trong trình duyệt của bạn. Nếu câu hỏi liên quan đến vị trí của tệp trên máy chủ được chuyển hướng, thì không có cách nào để biết.

Nếu bạn đang cố gắng gỡ lỗi các cuộc gọi được phát hành tới máy chủ, bạn có thể sử dụng tiện ích bổ sung firefox của fireorms, các phiên bản cũ hơn của nó tồn tại ở đây: https://addons.mozilla.org/en-US/firefox/addons/ phiên bản / 1843 .

Bạn có thể sử dụng Curl để tải xuống một URL được chuyển hướng :

curl --location http://domainName/fileName 2> /dev/null > fileName

Bạn có thể sử dụng IDM (Internet Download Manager) khi bạn nhấp vào liên kết tải xuống không trực tiếp, nó sẽ chuyển hướng liên kết và hiển thị liên kết trực tiếp.

Bạn đã cố gắng vượt qua URL chuyển hướng để wget? Đôi khi họ làm việc cho tôi.

Dưới đây là một ví dụ từ SourceForge:

$ wget http://sourceforge.net/projects/emule/files/eMule/0.49c/eMule0.49c-Installer.exe/download?use_mirror=ufpr,Centro%20de%20Computacao%20Cientifica%20e%20Software%20Livre
--14:23:20--  http://sourceforge.net/projects/emule/files/eMule/0.49c/eMule0.49c-Installer.exe/download?use_mirror=ufpr,Centro%20de%20Computacao%20Cientifica%20e%20Software%20Livre
Resolvendo sourceforge.net... 216.34.181.60
Connecting to sourceforge.net|216.34.181.60|:80... conectado!
HTTP requisição enviada, aguardando resposta... 302 Found
Localização: http://downloads.sourceforge.net/project/emule/eMule/0.49c/eMule0.49c-Installer.exe?use_mirror=ufpr [seguinte]
--14:23:21--  http://downloads.sourceforge.net/project/emule/eMule/0.49c/eMule0.49c-Installer.exe?use_mirror=ufpr
Resolvendo downloads.sourceforge.net... 216.34.181.59
Connecting to downloads.sourceforge.net|216.34.181.59|:80... conectado!
HTTP requisição enviada, aguardando resposta... 302 Found
Localização: http://ufpr.dl.sourceforge.net/project/emule/eMule/0.49c/eMule0.49c-Installer.exe [seguinte]
--14:23:21--  http://ufpr.dl.sourceforge.net/project/emule/eMule/0.49c/eMule0.49c-Installer.exe
Resolvendo ufpr.dl.sourceforge.net... 200.236.31.1, 200.17.202.1
Connecting to ufpr.dl.sourceforge.net|200.236.31.1|:80... conectado!
HTTP requisição enviada, aguardando resposta... 200 OK
Tamanho: 3342809 (3,2M) [application/x-msdos-program]
Saving to: `eMule0.49c-Installer.exe'

100%[====================================================================================>] 3.342.809   2,35M/s   in 1,4s

14:23:23 (2,35 MB/s) - `eMule0.49c-Installer.exe' saved [3342809/3342809]

Phiên bản tôi sử dụng:

$ wget --version
GNU Wget 1.10.2 

Có một addon cho Firefox có tên là Splitlink . Nó không hoạt động với Firefox 3+, nhưng nó đã hoạt động trong Firefox 2. Nếu bạn có thể tìm thấy nó ở bất cứ đâu (nó không còn trên trang addons chính thức nữa), nó sẽ cung cấp cho bạn thêm thông tin về URL thực.

Các url sao chép firefox chắc chắn là đơn giản nhất. wget (vì câu hỏi đã được gắn thẻ) cũng là một giải pháp hay vì bạn có thể thấy tất cả các lần thoát trung gian, không chỉ là url cuối cùng:

$ wget 'http://sourceforge.net/projects/pdfcreator/files/PDFCreator/PDFCreator%200.9.8/PDFCreator-0_9_8_setup.exe/download'
--2009-09-10 09:59:53--  http://sourceforge.net/projects/pdfcreator/files/PDFCreator/PDFCreator%200.9.8/PDFCreator-0_9_8_setup.exe/download
Resolving sourceforge.net... 216.34.181.60
Connecting to sourceforge.net|216.34.181.60|:80... connected.
HTTP request sent, awaiting response... 302 Found
Location: http://downloads.sourceforge.net/project/pdfcreator/PDFCreator/PDFCreator%200.9.8/PDFCreator-0_9_8_setup.exe?use_mirror=voxel [following]
--2009-09-10 09:59:54--  http://downloads.sourceforge.net/project/pdfcreator/PDFCreator/PDFCreator%200.9.8/PDFCreator-0_9_8_setup.exe?use_mirror=voxel
Resolving downloads.sourceforge.net... 216.34.181.59
Connecting to downloads.sourceforge.net|216.34.181.59|:80... connected.
HTTP request sent, awaiting response... 302 Found
Location: http://voxel.dl.sourceforge.net/project/pdfcreator/PDFCreator/PDFCreator%200.9.8/PDFCreator-0_9_8_setup.exe [following]
--2009-09-10 09:59:54--  http://voxel.dl.sourceforge.net/project/pdfcreator/PDFCreator/PDFCreator%200.9.8/PDFCreator-0_9_8_setup.exe
Resolving voxel.dl.sourceforge.net... 74.63.52.167, 69.9.191.19, 69.9.191.18, ...
Connecting to voxel.dl.sourceforge.net|74.63.52.167|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 17695920 (17M) [application/octet-stream]
Saving to: `PDFCreator-0_9_8_setup.exe'


10% [=======>                                                                       ] 1,818,064    609K/s

Nếu bạn muốn một trình quản lý tải xuống để xử lý việc tải xuống thay vì firefox, bạn có thể sử dụng addon firefox Flashgot.

Bạn có thể sử dụng netcatcông cụ (thường được bao gồm trong các bản phân phối linux) trên cổng 80 của trang web. Điều này cho thấy phản hồi HTTP thô đầy đủ, bao gồm các tiêu đề có chứa URL đích chuyển hướng. Đây là một trong những cách trực tiếp nhất để có được vị trí chuyển hướng, vì bạn đang làm điều tương tự như người tải xuống làm khi họ theo dõi chuyển hướng. Đây là một ví dụ cho URL http://www.example.com/example.

printf 'GET /example HTTP/1.1\r\nHost: www.example.com\r\n\r\n' | netcat www.example.com 80

...hoặc là...

Ngoài ra, nhiều trình duyệt hiển thị URL tải xuống thực tế trong Downloadsphần. Trong đó, bạn có thể bắt đầu tải xuống và hủy nó ngay lập tức, sau đó sao chép URL (từ lịch sử tải xuống).