Sự khác biệt giữa mô-đun urllib, urllib2, urllib3 và request là gì?

Trong Python, sự khác biệt giữa urllib , urllib2, urllib3và requestsmô-đun? Tại sao có ba? Họ dường như làm điều tương tự ...

Tôi biết điều đó đã được nói rồi, nhưng tôi rất khuyến khích requestsgói Python.

Nếu bạn đã sử dụng các ngôn ngữ khác ngoài python, có lẽ bạn đang suy nghĩ urllibvà urllib2dễ sử dụng, không cần nhiều mã và có khả năng cao, đó là cách tôi từng nghĩ. Nhưng requestsgói này rất hữu ích và ngắn đến mức mọi người nên sử dụng nó.

Đầu tiên, nó hỗ trợ API đầy đủ và dễ dàng như:

import requests

resp = requests.get('http://www.mywebsite.com/user')
resp = requests.post('http://www.mywebsite.com/user')
resp = requests.put('http://www.mywebsite.com/user/put')
resp = requests.delete('http://www.mywebsite.com/user/delete')

Bất kể là GET / POST, bạn không bao giờ phải mã hóa lại các tham số, nó chỉ đơn giản lấy một từ điển làm đối số và rất tốt để đi:

userdata = {"firstname": "John", "lastname": "Doe", "password": "jdoe123"}
resp = requests.post('http://www.mywebsite.com/user', data=userdata)

Thêm vào đó, nó thậm chí còn có bộ giải mã JSON tích hợp (một lần nữa, tôi biết json.loads()không cần phải viết nhiều nữa, nhưng điều này chắc chắn là tiện lợi):

resp.json()

Hoặc nếu dữ liệu phản hồi của bạn chỉ là văn bản, hãy sử dụng:

resp.text

Đây chỉ là đỉnh của tảng băng trôi. Đây là danh sách các tính năng từ trang yêu cầu:

• Tên miền và URL quốc tế
• Keep-Alive & Kết nối
• Phiên với sự kiên trì của Cookie
• Xác minh SSL kiểu trình duyệt
• Xác thực cơ bản / tiêu hóa
• Cookies Key / Value Elegant
• Giải nén tự động
• Cơ quan phản hồi Unicode
• Tải lên tập tin nhiều phần
• Hết giờ kết nối
• hỗ trợ .netrc
• Danh sách mục
• Python 2.6 Lọ3.4
• Chủ đề an toàn.

urllib2 cung cấp một số chức năng bổ sung, cụ thể là urlopen()chức năng có thể cho phép bạn chỉ định các tiêu đề (thông thường bạn đã phải sử dụng omeplib trong quá khứ, điều này dài hơn nhiều.) Quan trọng hơn, urllib2 cung cấp Requestlớp, cho phép nhiều hơn phương pháp khai báo để thực hiện một yêu cầu:

r = Request(url='http://www.mysite.com')
r.add_header('User-Agent', 'awesome fetcher')
r.add_data(urllib.urlencode({'foo': 'bar'})
response = urlopen(r)

Lưu ý rằng urlencode()chỉ có trong urllib, không phải urllib2.

Ngoài ra còn có các trình xử lý để triển khai hỗ trợ URL nâng cao hơn trong urllib2. Câu trả lời ngắn gọn là, trừ khi bạn đang làm việc với mã kế thừa, bạn có thể muốn sử dụng trình mở URL từ urllib2, nhưng bạn vẫn cần nhập vào urllib cho một số chức năng tiện ích.

Phần thưởng cho câu trả lời Với Google App Engine, bạn có thể sử dụng bất kỳ omeplib, urllib hoặc urllib2, nhưng tất cả chúng chỉ là các hàm bao cho API tìm nạp URL của Google. Đó là, bạn vẫn phải chịu những hạn chế tương tự như cổng, giao thức và độ dài của phản hồi cho phép. Mặc dù vậy, bạn có thể sử dụng lõi của các thư viện như bạn mong đợi để truy xuất URL HTTP.

urllib và urllib2 đều là các mô-đun Python thực hiện các yêu cầu liên quan đến URL nhưng cung cấp các chức năng khác nhau.

1) urllib2 có thể chấp nhận một đối tượng Yêu cầu để đặt các tiêu đề cho một yêu cầu URL, urllib chỉ chấp nhận một URL.

2) urllib cung cấp phương thức urlencode được sử dụng để tạo chuỗi truy vấn GET, urllib2 không có chức năng như vậy. Đây là một trong những lý do tại sao urllib thường được sử dụng cùng với urllib2.

Yêu cầu - Yêu cầu 'là một thư viện HTTP đơn giản, dễ sử dụng được viết bằng Python.

1) Yêu cầu Python mã hóa các tham số tự động để bạn chỉ cần truyền chúng dưới dạng đối số đơn giản, không giống như trong trường hợp của urllib, nơi bạn cần sử dụng phương thức urllib.encode () để mã hóa các tham số trước khi truyền chúng.

2) Nó tự động giải mã phản hồi thành Unicode.

3) Yêu cầu cũng có cách xử lý lỗi thuận tiện hơn nhiều. Nếu xác thực của bạn không thành công, urllib2 sẽ tăng urllib2.URLError, trong khi Yêu cầu sẽ trả về một đối tượng phản hồi bình thường, như mong đợi. Tất cả bạn phải xem nếu yêu cầu đã thành công bằng phản hồi boolean.ok

Một sự khác biệt đáng kể là về việc chuyển Python2 sang Python3. urllib2 không tồn tại cho python3 và các phương thức của nó được chuyển sang urllib. Vì vậy, bạn đang sử dụng rất nhiều và muốn chuyển sang Python3 trong tương lai, hãy cân nhắc sử dụng urllib. Tuy nhiên, công cụ 2to3 sẽ tự động làm hầu hết công việc cho bạn.

Chỉ cần thêm vào các câu trả lời hiện có, tôi không thấy ai đề cập rằng các yêu cầu python không phải là một thư viện riêng. Nếu bạn ổn với việc thêm phụ thuộc, thì yêu cầu vẫn ổn. Tuy nhiên, nếu bạn đang cố gắng tránh thêm phụ thuộc, urllib là một thư viện python bản địa đã có sẵn cho bạn.

Tôi thích urllib.urlencodechức năng này và nó dường như không tồn tại urllib2.

>>> urllib.urlencode({'abc':'d f', 'def': '-!2'})
'abc=d+f&def=-%212'

Để có được nội dung của một url:

try: # Try importing requests first.
    import requests
except ImportError: 
    try: # Try importing Python3 urllib
        import urllib.request
    except AttributeError: # Now importing Python2 urllib
        import urllib


def get_content(url):
    try:  # Using requests.
        return requests.get(url).content # Returns requests.models.Response.
    except NameError:  
        try: # Using Python3 urllib.
            with urllib.request.urlopen(index_url) as response:
                return response.read() # Returns http.client.HTTPResponse.
        except AttributeError: # Using Python3 urllib.
            return urllib.urlopen(url).read() # Returns an instance.

Thật khó để viết Python2 và Python3 và requestmã phụ thuộc cho các phản hồi vì các urlopen()hàm và requests.get()hàm trả về các loại khác nhau:

• Python2 urllib.request.urlopen()trả về mộthttp.client.HTTPResponse
• Python3 urllib.urlopen(url)trả về mộtinstance
• Yêu cầu request.get(url)trả lại mộtrequests.models.Response

Nói chung, bạn nên sử dụng urllib2, vì điều này đôi khi làm mọi thứ dễ dàng hơn một chút bằng cách chấp nhận các đối tượng Yêu cầu và cũng sẽ đưa ra một URLException về lỗi giao thức. Tuy nhiên, với Google App Engine, bạn không thể sử dụng. Bạn phải sử dụng API tìm nạp URL mà Google cung cấp trong môi trường Python có hộp cát.

Một điểm quan trọng mà tôi thấy thiếu trong các câu trả lời ở trên là urllib trả về một đối tượng thuộc loại <class http.client.HTTPResponse>trong khi requeststrả về <class 'requests.models.Response'>.

Do đó, phương thức read () có thể được sử dụng urllibnhưng không sử dụng requests.

PS: requestsđã phong phú với rất nhiều phương thức mà hầu như không cần thêm một phương thức nào nữa read();>