Tôi đang cố gắng sử dụng Wget để tải xuống một trang, nhưng tôi không thể vượt qua màn hình đăng nhập.
Làm cách nào để gửi tên người dùng / mật khẩu bằng dữ liệu bài đăng trên trang đăng nhập và sau đó tải xuống trang thực tế với tư cách là người dùng được xác thực?
Câu trả lời:
Dựa trên trang hướng dẫn:
# Log in to the server. This only needs to be done once.
wget --save-cookies cookies.txt \
--keep-session-cookies \
--post-data 'user=foo&password=bar' \
--delete-after \
http://server.com/auth.php
# Now grab the page or pages we care about.
wget --load-cookies cookies.txt \
http://server.com/interesting/article.php
Đảm bảo --post-datatham số được mã hóa chính xác theo phần trăm (đặc biệt là ký hiệu!) Hoặc yêu cầu có thể sẽ thất bại. Cũng đảm bảo rằng uservà passwordlà các phím chính xác; bạn có thể tìm ra các khóa chính xác bằng cách kiểm tra HTML của trang đăng nhập (xem phần tính năng kiểm tra phần tử của trình duyệt của bạn và tìm namethuộc tính trên các trường tên người dùng và mật khẩu).
-p( --page-requisites) cho việc này.
--delete-aftervào lần truy xuất đầu tiên để cuối cùng bạn không lưu trang kết quả khi đăng nhập.
WGET64: missing URLTôi đặt toàn bộ lệnh wget trong một dòng và xóa `\`
Nếu bạn cần sử dụng một lần, bạn có thể đăng nhập qua trình duyệt và sao chép các tiêu đề cần thiết sau đó:
Sử dụng "Sao chép dưới dạng cURL" trong tab Mạng của Công cụ dành cho nhà phát triển (tải lại trang sau khi mở) và thay thế cờ tiêu đề của curl -Hvà --databằng wget --headervà --post-data.
wgetvới cookie chính xác thì không; Tôi nghi ngờ dịch vụ web kiểm tra nhiều tiêu đề GET khác nhau, thậm chí những tiêu đề dường như không quan trọng như "Tác nhân người dùng" hoặc "Kiểm soát bộ đệm".
wgetcung cấp dữ liệu một cách sai lầm.
Tôi trực tiếp đưa cookie của một kết nối hiện có để wget với --no-cookies và tiêu đề yêu cầu HTTP Cookie. Trong trường hợp của tôi, đó là thông tin đăng nhập của trường đại học Moodle, nơi đăng nhập có vẻ phức tạp hơn (sử dụng nhiều yêu cầu với một vé đăng nhập). Tôi đã thêm --post-data vì đó là một yêu cầu POST. Ví dụ: lấy tất cả danh sách người dùng Moodle:
wget --no-cookies --header "Cookie: <name>=<value>" --post-data 'tab=search&name=+&personsubmit=Rechercher&keywords=&keywordsoption=allmine' https://moodle.unistra.fr/message/index.php
Tôi đã từng gặp vấn đề tương tự. Giải pháp của tôi là đăng nhập qua Chrome và lưu dữ liệu cookie vào tệp văn bản. Điều này được thực hiện dễ dàng với tiện ích mở rộng Chrome này: tiện ích xuất khẩu Chrome cookie.txt .
Khi bạn nhận được dữ liệu cookie, cũng có một ví dụ về cách sử dụng chúng với wget. Một dòng lệnh sao chép-dán đơn giản được cung cấp cho bạn.
Tôi muốn một lớp lót không tải xuống bất kỳ tập tin nào; đây là một ví dụ về đường ống đầu ra cookie vào yêu cầu tiếp theo. Tôi chỉ thử nghiệm những điều sau trên Gentoo, nhưng nó sẽ hoạt động trong hầu hết các môi trường * nix:
wget -q -O /dev/null --save-cookies /dev/stdout --post-data 'u=user&p=pass' 'http://example.com/login' | wget -q -O - --load-cookies /dev/stdin 'http://example.com/private/page'
(đây là một dòng, mặc dù nó có khả năng kết thúc tốt đẹp trên trình duyệt của bạn)
Nếu bạn muốn đầu ra được lưu vào một tệp, hãy đổi -O -thành-O /some/file/name
Nếu họ đang sử dụng xác thực cơ bản:
wget http://username:password@www.domain.com/page.html
Nếu họ đang sử dụng dữ liệu biểu mẫu đã gửi, thay vào đó , bạn sẽ cần sử dụng một cái gì đó như cURL .
Lưu ý: Lynx phải được biên dịch với --enable-continent-cookies cờ để làm việc này
Khi bạn muốn sử dụng wget để tải xuống một số tệp từ một trang web yêu cầu đăng nhập, bạn chỉ cần một tệp cookie. Để tạo tập tin cookie, tôi chọn lynx. lynx là một trình duyệt web văn bản. Trước tiên, bạn cần một tệp cấu hình cho lynx để lưu cookie. Tạo một tập tin lynx.cfg. Viết các cấu hình này vào tập tin.
SET_COOKIES:TRUE
ACCEPT_ALL_COOKIES:TRUE
PERSISTENT_COOKIES:TRUE
COOKIE_FILE:cookie.file
Sau đó bắt đầu lynx với lệnh này:
lynx -cfg=lynx.cfg http://the.site.com/login
Sau khi bạn nhập tên người dùng và mật khẩu, và chọn 'bảo vệ tôi trên máy tính này' hoặc một cái gì đó tương tự. Nếu đăng nhập thành công, bạn sẽ thấy một trang web văn bản đẹp của trang web. Và bạn đăng xuất. Trong thư mục hiện tại, bạn sẽ tìm thấy một tệp cookie có tên là cookie.file. Đây là những gì chúng ta cần cho wget.
Sau đó, wget có thể tải tập tin từ trang web bằng lệnh này.
wget --load-cookies ./cookie.file http://the.site.com/download/we-can-make-this-world-better.tar.gz
Ví dụ để tải về với wget trên máy chủ một liên kết tệp lớn có thể được lấy trong trình duyệt của bạn.
Ví dụ: sử dụng Google Chrome.
Đăng nhập nơi bạn cần, và nhấn tải xuống. Đi để tải về và sao chép liên kết của bạn.
Sau đó mở DevTools trên trang nơi bạn đăng nhập, truy cập Bảng điều khiển và nhận cookie của bạn, bằng cách nhậpdocument.cookie
Bây giờ, đi đến máy chủ và tải xuống tệp của bạn: wget --header "Cookie: <YOUR_COOKIE_OUTPUT_FROM_CONSOLE>" <YOUR_DOWNLOAD_LINK>
