Làm cách nào để sử dụng Python để đăng nhập vào trang web và truy xuất cookie để sử dụng sau này?

Tôi muốn tải xuống và phân tích trang web bằng python, nhưng để truy cập nó, tôi cần một vài bộ cookie. Do đó tôi cần đăng nhập qua https vào trang web trước. Thời điểm đăng nhập liên quan đến việc gửi hai thông số POST (tên người dùng, mật khẩu) đến /login.php. Trong yêu cầu đăng nhập, tôi muốn lấy cookie từ tiêu đề phản hồi và lưu trữ chúng để tôi có thể sử dụng chúng trong yêu cầu tải xuống trang web /data.php.

Làm thế nào tôi có thể làm điều này trong python (tốt nhất là 2.6)? Nếu có thể tôi chỉ muốn sử dụng các mô-đun dựng sẵn.

import urllib, urllib2, cookielib

username = 'myuser'
password = 'mypassword'

cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
login_data = urllib.urlencode({'username' : username, 'j_password' : password})
opener.open('http://www.example.com/login.php', login_data)
resp = opener.open('http://www.example.com/hiddenpage.php')
print resp.read()

resp.read()là html thẳng của trang bạn muốn mở và bạn có thể sử dụng openerđể xem bất kỳ trang nào bằng cookie phiên của mình.

Đây là phiên bản sử dụng thư viện yêu cầu tuyệt vời :

from requests import session

payload = {
    'action': 'login',
    'username': USERNAME,
    'password': PASSWORD
}

with session() as c:
    c.post('http://example.com/login.php', data=payload)
    response = c.get('http://example.com/protected_page.php')
    print(response.headers)
    print(response.text)