Làm cách nào tôi có thể sử dụng các yêu cầu trong asyncio?

Tôi muốn thực hiện các tác vụ yêu cầu http song song asyncio, nhưng tôi thấy điều đó python-requestssẽ chặn vòng lặp sự kiện asyncio. Tôi đã tìm thấy aiohttp nhưng nó không thể cung cấp dịch vụ yêu cầu http bằng proxy http.

Vì vậy, tôi muốn biết liệu có cách nào để thực hiện các yêu cầu http không đồng bộ với sự trợ giúp của không asyncio.

Để sử dụng các yêu cầu (hoặc bất kỳ thư viện chặn nào khác) với asyncio, bạn có thể sử dụng BaseEventLoop.run_in_executor để chạy một hàm trong một luồng khác và lấy kết quả từ nó để lấy kết quả. Ví dụ:

import asyncio
import requests

@asyncio.coroutine
def main():
    loop = asyncio.get_event_loop()
    future1 = loop.run_in_executor(None, requests.get, 'http://www.google.com')
    future2 = loop.run_in_executor(None, requests.get, 'http://www.google.co.uk')
    response1 = yield from future1
    response2 = yield from future2
    print(response1.text)
    print(response2.text)

loop = asyncio.get_event_loop()
loop.run_until_complete(main())

Điều này sẽ nhận được cả hai phản ứng song song.

Với python 3.5, bạn có thể sử dụng cú pháp await/ mới async:

import asyncio
import requests

async def main():
    loop = asyncio.get_event_loop()
    future1 = loop.run_in_executor(None, requests.get, 'http://www.google.com')
    future2 = loop.run_in_executor(None, requests.get, 'http://www.google.co.uk')
    response1 = await future1
    response2 = await future2
    print(response1.text)
    print(response2.text)

loop = asyncio.get_event_loop()
loop.run_until_complete(main())

Xem PEP0492 để biết thêm.

aiohttp có thể được sử dụng với HTTP proxy:

import asyncio
import aiohttp


@asyncio.coroutine
def do_request():
    proxy_url = 'http://localhost:8118'  # your proxy address
    response = yield from aiohttp.request(
        'GET', 'http://google.com',
        proxy=proxy_url,
    )
    return response

loop = asyncio.get_event_loop()
loop.run_until_complete(do_request())

Các câu trả lời ở trên vẫn đang sử dụng các coroutines kiểu Python 3.4 cũ. Đây là những gì bạn sẽ viết nếu bạn có Python 3.5+.

aiohttp hỗ trợ http proxy ngay bây giờ

import aiohttp
import asyncio

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    urls = [
            'http://python.org',
            'https://google.com',
            'http://yifei.me'
        ]
    tasks = []
    async with aiohttp.ClientSession() as session:
        for url in urls:
            tasks.append(fetch(session, url))
        htmls = await asyncio.gather(*tasks)
        for html in htmls:
            print(html[:100])

if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

Yêu cầu hiện không hỗ trợ asynciovà không có kế hoạch cung cấp hỗ trợ như vậy. Có khả năng là bạn có thể triển khai "Bộ điều hợp vận chuyển" tùy chỉnh (như được thảo luận ở đây ) biết cách sử dụng asyncio.

Nếu tôi thấy mình có lúc đó là điều gì đó tôi thực sự có thể xem xét, nhưng tôi không thể hứa bất cứ điều gì.

Có một trường hợp tốt về async / đang chờ các vòng lặp và xâu chuỗi trong một bài viết của Pimin Konstantin Kefaloukos Các yêu cầu HTTP song song dễ dàng với Python và asyncio :

Để giảm thiểu tổng thời gian hoàn thành, chúng tôi có thể tăng kích thước của nhóm luồng để phù hợp với số lượng yêu cầu chúng tôi phải thực hiện. May mắn thay, điều này là dễ dàng để làm như chúng ta sẽ thấy tiếp theo. Danh sách mã dưới đây là một ví dụ về cách thực hiện hai mươi yêu cầu HTTP không đồng bộ với nhóm luồng gồm hai mươi luồng công việc:

# Example 3: asynchronous requests with larger thread pool
import asyncio
import concurrent.futures
import requests

async def main():

    with concurrent.futures.ThreadPoolExecutor(max_workers=20) as executor:

        loop = asyncio.get_event_loop()
        futures = [
            loop.run_in_executor(
                executor, 
                requests.get, 
                'http://example.org/'
            )
            for i in range(20)
        ]
        for response in await asyncio.gather(*futures):
            pass


loop = asyncio.get_event_loop()
loop.run_until_complete(main())