Proxy với mô-đun 'Yêu cầu' của Python

Chỉ cần một đoạn ngắn, đơn giản về mô-đun Yêu cầu tuyệt vời cho Python.

Tôi dường như không thể tìm thấy trong tài liệu những gì các biến 'proxy' nên chứa. Khi tôi gửi cho nó một lệnh với giá trị "IP: PORT" tiêu chuẩn, nó đã từ chối nó yêu cầu 2 giá trị. Vì vậy, tôi đoán (bởi vì điều này dường như không được đề cập trong các tài liệu) rằng giá trị đầu tiên là ip và cổng thứ hai?

Các tài liệu chỉ đề cập đến điều này:

proxy - (tùy chọn) Giao thức ánh xạ từ điển tới URL của proxy.

Vì vậy, tôi đã thử điều này ... tôi nên làm gì?

proxy = { ip: port}

và tôi có nên chuyển đổi chúng thành một số loại trước khi đưa chúng vào lệnh không?

r = requests.get(url,headers=headers,proxies=proxy)

Các proxies'cú pháp dict là {"protocol":"ip:port", ...}. Với nó, bạn có thể chỉ định (hoặc) cùng một proxie (s) cho các yêu cầu sử dụng giao thức http , https và ftp :

http_proxy  = "http://10.10.1.10:3128"
https_proxy = "https://10.10.1.11:1080"
ftp_proxy   = "ftp://10.10.1.10:3128"

proxyDict = { 
              "http"  : http_proxy, 
              "https" : https_proxy, 
              "ftp"   : ftp_proxy
            }

r = requests.get(url, headers=headers, proxies=proxyDict)

Trích từ requeststài liệu :

Tham số:
method - phương thức cho đối tượng Yêu cầu mới.
url- URL cho đối tượng Yêu cầu mới.
...
proxies- (tùy chọn) Giao thức ánh xạ từ điển tới URL của proxy . ...

Trên Linux, bạn cũng có thể làm được điều này thông qua HTTP_PROXY, HTTPS_PROXYvà FTP_PROXYcác biến môi trường:

export HTTP_PROXY=10.10.1.10:3128
export HTTPS_PROXY=10.10.1.11:1080
export FTP_PROXY=10.10.1.10:3128

Trên Windows:

set http_proxy=10.10.1.10:3128
set https_proxy=10.10.1.11:1080
set ftp_proxy=10.10.1.10:3128

Cảm ơn, Jay đã chỉ ra điều này:
Cú pháp đã thay đổi với các yêu cầu 2.0.0 .
Bạn sẽ cần thêm một lược đồ vào url: https://2.python-requests.org/en/latest/user/advified/#proxies

Tôi đã thấy rằng urllib có một số mã thực sự tốt để nhận các cài đặt proxy của hệ thống và chúng tình cờ ở dạng chính xác để sử dụng trực tiếp. Bạn có thể sử dụng như thế này:

import urllib

...
r = requests.get('http://example.org', proxies=urllib.request.getproxies())

Nó hoạt động rất tốt và urllib cũng biết về việc cài đặt Mac OS X và Windows.

Bạn có thể tham khảo tài liệu proxy tại đây .

Nếu bạn cần sử dụng proxy, bạn có thể định cấu hình các yêu cầu riêng lẻ với đối số proxy cho bất kỳ phương thức yêu cầu nào:

import requests

proxies = {
  "http": "http://10.10.1.10:3128",
  "https": "https://10.10.1.10:1080",
}

requests.get("http://example.org", proxies=proxies)

Để sử dụng HTTP Basic Auth với proxy của bạn, hãy sử dụng cú pháp http: // user: password@host.com/ :

proxies = {
    "http": "http://user:pass@10.10.1.10:3128/"
}

Câu trả lời được chấp nhận là một khởi đầu tốt cho tôi, nhưng tôi vẫn nhận được lỗi sau:

AssertionError: Not supported proxy scheme None

Khắc phục sự cố này là chỉ định http: // trong url proxy:

http_proxy  = "http://194.62.145.248:8080"
https_proxy  = "https://194.62.145.248:8080"
ftp_proxy   = "10.10.1.10:3128"

proxyDict = {
              "http"  : http_proxy,
              "https" : https_proxy,
              "ftp"   : ftp_proxy
            }

Tôi sẽ quan tâm đến lý do tại sao bản gốc hoạt động cho một số người mà không phải cho tôi.

Chỉnh sửa: Tôi thấy câu trả lời chính hiện đang được cập nhật để phản ánh điều này :)

Nếu bạn muốn thuyết phục cookie và dữ liệu phiên, tốt nhất bạn nên làm như thế này:

import requests

proxies = {
    'http': 'http://user:pass@10.10.1.0:3128',
    'https': 'https://user:pass@10.10.1.0:3128',
}

# Create the session and set the proxies.
s = requests.Session()
s.proxies = proxies

# Make the HTTP request through the session.
r = s.get('http://www.showmemyip.com/')

Chậm 8 năm. Nhưng tôi thích:

import os
import requests

os.environ['HTTP_PROXY'] = os.environ['http_proxy'] = 'http://http-connect-proxy:3128/'
os.environ['HTTPS_PROXY'] = os.environ['https_proxy'] = 'http://http-connect-proxy:3128/'
os.environ['NO_PROXY'] = os.environ['no_proxy'] = '127.0.0.1,localhost,.local'

r = requests.get('https://example.com')  # , verify=False

đây là lớp cơ bản của tôi trong python cho mô-đun yêu cầu với một số cấu hình proxy và đồng hồ bấm giờ!

import requests
import time
class BaseCheck():
    def __init__(self, url):
        self.http_proxy  = "http://user:pw@proxy:8080"
        self.https_proxy = "http://user:pw@proxy:8080"
        self.ftp_proxy   = "http://user:pw@proxy:8080"
        self.proxyDict = {
                      "http"  : self.http_proxy,
                      "https" : self.https_proxy,
                      "ftp"   : self.ftp_proxy
                    }
        self.url = url
        def makearr(tsteps):
            global stemps
            global steps
            stemps = {}
            for step in tsteps:
                stemps[step] = { 'start': 0, 'end': 0 }
            steps = tsteps
        makearr(['init','check'])
        def starttime(typ = ""):
            for stemp in stemps:
                if typ == "":
                    stemps[stemp]['start'] = time.time()
                else:
                    stemps[stemp][typ] = time.time()
        starttime()
    def __str__(self):
        return str(self.url)
    def getrequests(self):
        g=requests.get(self.url,proxies=self.proxyDict)
        print g.status_code
        print g.content
        print self.url
        stemps['init']['end'] = time.time()
        #print stemps['init']['end'] - stemps['init']['start']
        x= stemps['init']['end'] - stemps['init']['start']
        print x


test=BaseCheck(url='http://google.com')
test.getrequests()

tôi vừa tạo một proxy graber và cũng có thể kết nối với proxy đã lấy mà không cần bất kỳ đầu vào nào ở đây là:

#Import Modules

from termcolor import colored
from selenium import webdriver
import requests
import os
import sys
import time

#Proxy Grab

options = webdriver.ChromeOptions()
options.add_argument('headless')
driver = webdriver.Chrome(chrome_options=options)
driver.get("https://www.sslproxies.org/")
tbody = driver.find_element_by_tag_name("tbody")
cell = tbody.find_elements_by_tag_name("tr")
for column in cell:

        column = column.text.split(" ")
        print(colored(column[0]+":"+column[1],'yellow'))
driver.quit()
print("")

os.system('clear')
os.system('cls')

#Proxy Connection

print(colored('Getting Proxies from graber...','green'))
time.sleep(2)
os.system('clear')
os.system('cls')
proxy = {"http": "http://"+ column[0]+":"+column[1]}
url = 'https://mobile.facebook.com/login'
r = requests.get(url,  proxies=proxy)
print("")
print(colored('Connecting using proxy' ,'green'))
print("")
sts = r.status_code

Hơi muộn một chút nhưng đây là lớp trình bao bọc giúp đơn giản hóa các proxy và sau đó thực hiện http POST hoặc GET:

ProxyRequests

https://github.com/rootVIII/proxy_requests

Tôi chia sẻ một số mã cách tìm nạp proxy từ trang web "https://free-proxy-list.net" và lưu trữ dữ liệu vào một tệp tương thích với các công cụ như "Elite Proxy Switcher" (định dạng IP: PORT):

## PROXY_UPDATER - nhận proxy miễn phí từ https://free-proxy-list.net/

from lxml.html import fromstring
import requests
from itertools import cycle
import traceback
import re

######################FIND PROXIES#########################################
def get_proxies():
    url = 'https://free-proxy-list.net/'
    response = requests.get(url)
    parser = fromstring(response.text)
    proxies = set()
    for i in parser.xpath('//tbody/tr')[:299]:   #299 proxies max
        proxy = ":".join([i.xpath('.//td[1]/text()') 
        [0],i.xpath('.//td[2]/text()')[0]])
        proxies.add(proxy)
    return proxies



######################write to file in format   IP:PORT######################
try:
    proxies = get_proxies()
    f=open('proxy_list.txt','w')
    for proxy in proxies:
        f.write(proxy+'\n')
    f.close()
    print ("DONE")
except:
    print ("MAJOR ERROR")