Làm cách nào để sử dụng wget / curl để tải xuống từ trang tôi đang đăng nhập?

Một số phần của wikipedia xuất hiện khác nhau khi bạn đăng nhập. Tôi muốn quên trang người dùng để chúng xuất hiện như thể tôi đã đăng nhập.

Có cách nào tôi có thể quên các trang người dùng như thế này không

http://en.wikipedia.org/wiki/User:A

đây là trang đăng nhập:

http://en.wikipedia.org/w/index.php?title=Special:UserLogin&returnto=Login&campaign=ACP3

Cách dễ dàng: đăng nhập bằng trình duyệt của bạn và cung cấp cookie để wget

Phương pháp dễ nhất: nói chung, bạn cần cung cấp wget hoặc curl với cookie (đã đăng nhập) từ một trang web cụ thể để họ tìm nạp các trang như thể bạn đã đăng nhập .

Nếu bạn đang sử dụng Firefox, thật dễ dàng thực hiện thông qua tiện ích Xuất cookie . Cài đặt tiện ích bổ sung và:

1. Chuyển đến Công cụ ... Xuất Cookies và lưu cookies.txttệp (bạn có thể thay đổi tên tệp / đích).

2. Mở một thiết bị đầu cuối và sử dụng wgetvới --load-cookies=FILENAMEtùy chọn, ví dụ:

   wget --load-cookies=cookies.txt http://en.wikipedia.org/wiki/User:A

   • Đối với curl , nócurl --cookie cookies.txt ...

(Tôi sẽ cố gắng cập nhật câu trả lời này cho người dùng Chrome / Chromium)

Cách khó: sử dụng curl (tốt nhất) hoặc wget để quản lý toàn bộ phiên

• Cách thực hiện chi tiết nằm ngoài phạm vi của câu trả lời này, nhưng bạn sử dụng curl với --cookie-jarhoặc wget với các --save-cookies --keep-session-cookiestùy chọn, cùng với phương thức PUT HTTP / S để đăng nhập vào trang web, lưu cookie đăng nhập và sau đó sử dụng chúng để mô phỏng một trình duyệt.
• Không cần phải nói, điều này đòi hỏi phải đi qua nguồn HTML cho trang đăng nhập (lấy tên trường nhập, v.v.) và thường rất khó để làm việc cho các trang web bằng cách sử dụng bất cứ điều gì ngoài xác thực đăng nhập / mật khẩu đơn giản.
• Mẹo: nếu bạn đi theo tuyến đường này, việc xử lý phiên bản di động của trang web (nếu có) sẽ đơn giản hơn nhiều , ít nhất là cho bước xác thực.

Một giải pháp dễ dàng khác làm việc cho tôi mà không cần cài đặt thêm:

• Mở tab "Mạng" của công cụ "Nhà phát triển web" : Ctrl-Shift-E
• Truy cập trang bạn muốn lưu (ví dụ: ảnh phía sau đăng nhập)
• Nhấp chuột phải vào yêu cầu và chọn 'Sao chép' -> 'Sao chép dưới dạng cURL'

Điều này sẽ cung cấp cho bạn một lệnh mà bạn có thể dán trực tiếp vào vỏ của mình, có tất cả thông tin đăng nhập cookie của bạn, vd

curl 'https://mysite.test/my-secure-dir/picture1.jpg' \ 
-H 'User-Agent: Mozilla/5.0 ...' \
-H 'Cookie: SESSIONID=abcdef1234567890'

Sau đó, bạn có thể sửa đổi URL trong lệnh để tìm nạp bất cứ thứ gì bạn muốn.

Với cURL thực sự dễ dàng để xử lý cookie theo cả hai cách.

curl www.target-url.com -c cookie.txtsau đó sẽ lưu một tệp có tên cookie.txt. Nhưng bạn cần đăng nhập, vì vậy cần sử dụng --data với các đối số như : curl -X --data "var1=1&var2=2" www.target-url.com/login.php -c cookie.txt. Khi bạn nhận được cookie đã đăng nhập, bạn có thể gửi nó bằng: curl www.target-url.com/?user-page.php -b cookie.txt

Chỉ cần sử dụng -c (--cookie) hoặc -b (--cookie-jar) để lưu và gửi.

Lưu ý1: Sử dụng cURL CLI dễ dàng hơn nhiều so với PHP và có thể nhanh hơn;)

Để lưu nội dung cuối cùng, bạn có thể dễ dàng thêm > filename.htmlvào lệnh cURL của mình sau đó lưu mã html đầy đủ.

Note2 về "đầy đủ": Yo không thể kết xuất javascript bằng cURL, chỉ cần lấy mã nguồn.

Đối với những người vẫn quan tâm đến câu hỏi này, có một tiện ích mở rộng Chrome rất hữu ích có tên CurlWGet cho phép bạn tạo wget/ curlyêu cầu bằng các biện pháp xác thực, v.v. chỉ bằng một cú nhấp chuột. Để cài đặt tiện ích mở rộng này, hãy làm theo các bước dưới đây:

1. Cài đặt tiện ích mở rộng từ Cửa hàng Chrome trực tuyến .
2. Truy cập trang web mà bạn muốn tải xuống.
3. Bắt đầu tải xuống.
4. Phần mở rộng sẽ tạo ra một liên kết cho bạn.

Thưởng thức!

Bài đăng trên blog Wget with Firefox Cookies cho thấy cách truy cập tệp dữ liệu sqlite trong đó Firefox lưu trữ cookie của nó. Bằng cách đó, người ta không cần phải xuất cookie thủ công để sử dụng với wget. Một nhận xét cho thấy rằng nó không hoạt động với cookie phiên, nhưng nó hoạt động tốt cho các trang web tôi đã thử.

hãy xem cliget cho Firefox.

Khi bạn sắp tải xuống, trên hộp thoại tải xuống cuối cùng, bạn có tùy chọn sao chép tải xuống dưới dạng dòng lệnh curl vào bảng tạm.

Bạn đã thử điều này?

wget --user=username --password=password http://en.wikipedia.org/wiki/User:A

Hãy thử một cái gì đó như:

wget --keep-session-cookies --save-cookies cookies.txt --post-data 'user=goyamy&passwrd=mypassword' http://forum.ubuntu-it.org/

Xem thêm liên kết này:

Làm thế nào để tải xuống trang web này với wget?

Đối với các thông tin đăng nhập dựa trên trang web phức tạp hơn, bạn cũng nên xem xét sử dụng tập lệnh Python và một số mô-đun bắt chước trình duyệt, như http://wwwsearch.sourceforge.net/mechanize/ thay vì curlhoặc wget.

Bằng cách này, cookie phiên được xử lý tự động, bạn có thể theo liên kết và điền vào biểu mẫu đăng nhập và tự mình "tạo kịch bản" thông qua quy trình đăng nhập như thể sử dụng trình duyệt web của bạn.