Proxy với urllib2

Tôi mở url bằng:

site = urllib2.urlopen('http://google.com')

Và những gì tôi muốn làm là kết nối theo cách tương tự với một proxy mà tôi có ở đâu đó nói với tôi:

site = urllib2.urlopen('http://google.com', proxies={'http':'127.0.0.1'})

nhưng điều đó cũng không hoạt động.

Tôi biết urllib2 có một cái gì đó giống như một trình xử lý proxy, nhưng tôi không thể nhớ lại chức năng đó.

proxy = urllib2.ProxyHandler({'http': '127.0.0.1'})
opener = urllib2.build_opener(proxy)
urllib2.install_opener(opener)
urllib2.urlopen('http://www.google.com')

Bạn phải cài đặt ProxyHandler

urllib2.install_opener(
    urllib2.build_opener(
        urllib2.ProxyHandler({'http': '127.0.0.1'})
    )
)
urllib2.urlopen('http://www.google.com')

Bạn có thể đặt proxy bằng cách sử dụng các biến môi trường.

import os
os.environ['http_proxy'] = '127.0.0.1'
os.environ['https_proxy'] = '127.0.0.1'

urllib2sẽ tự động thêm trình xử lý proxy theo cách này. Bạn cần đặt proxy cho các giao thức khác nhau một cách riêng biệt nếu không chúng sẽ không thành công (trong điều kiện không đi qua proxy), hãy xem bên dưới.

Ví dụ:

proxy = urllib2.ProxyHandler({'http': '127.0.0.1'})
opener = urllib2.build_opener(proxy)
urllib2.install_opener(opener)
urllib2.urlopen('http://www.google.com')
# next line will fail (will not go through the proxy) (https)
urllib2.urlopen('https://www.google.com')

Thay thế

proxy = urllib2.ProxyHandler({
    'http': '127.0.0.1',
    'https': '127.0.0.1'
})
opener = urllib2.build_opener(proxy)
urllib2.install_opener(opener)
# this way both http and https requests go through the proxy
urllib2.urlopen('http://www.google.com')
urllib2.urlopen('https://www.google.com')

Để sử dụng proxy hệ thống mặc định (ví dụ: từ biến môi trường http_support), các thao tác sau phù hợp với yêu cầu hiện tại (mà không cần cài đặt nó vào urllib2 trên toàn cầu):

url = 'http://www.example.com/'
proxy = urllib2.ProxyHandler()
opener = urllib2.build_opener(proxy)
in_ = opener.open(url)
in_.read()

Ngoài câu trả lời được chấp nhận: Scipt của tôi đã cho tôi một lỗi

File "c:\Python23\lib\urllib2.py", line 580, in proxy_open
    if '@' in host:
TypeError: iterable argument required

Giải pháp là thêm http: // vào trước chuỗi proxy:

proxy = urllib2.ProxyHandler({'http': 'http://proxy.xy.z:8080'})
opener = urllib2.build_opener(proxy)
urllib2.install_opener(opener)
urllib2.urlopen('http://www.google.com')

Người ta cũng có thể sử dụng các yêu cầu nếu chúng tôi muốn truy cập một trang web bằng proxy. Mã Python 3:

>>> import requests
>>> url = 'http://www.google.com'
>>> proxy = '169.50.87.252:80'
>>> requests.get(url, proxies={"http":proxy})
<Response [200]>

Cũng có thể thêm nhiều proxy.

>>> proxy1 = '169.50.87.252:80'
>>> proxy2 = '89.34.97.132:8080'
>>> requests.get(url, proxies={"http":proxy1,"http":proxy2})
<Response [200]>

Ngoài ra, đặt proxy cho phiên dòng lệnh Mở dòng lệnh mà bạn có thể muốn chạy tập lệnh của mình

netsh winhttp set proxy YourProxySERVER:yourProxyPORT

chạy tập lệnh của bạn trong thiết bị đầu cuối đó.