Làm cách nào để bạn gửi một yêu cầu HEAD HTTP trong Python 2?

Những gì tôi đang cố gắng làm ở đây là lấy tiêu đề của một URL nhất định để tôi có thể xác định kiểu MIME. Tôi muốn xem liệu http://somedomain/foo/sẽ trả về tài liệu HTML hay hình ảnh JPEG chẳng hạn. Do đó, tôi cần tìm ra cách gửi yêu cầu HEAD để tôi có thể đọc kiểu MIME mà không cần phải tải xuống nội dung. Có ai biết một cách dễ dàng để làm điều này?

chỉnh sửa : Câu trả lời này hoạt động, nhưng ngày nay bạn chỉ nên sử dụng thư viện yêu cầu như được đề cập trong các câu trả lời khác bên dưới.

Sử dụng httplib .

>>> import httplib
>>> conn = httplib.HTTPConnection("www.google.com")
>>> conn.request("HEAD", "/index.html")
>>> res = conn.getresponse()
>>> print res.status, res.reason
200 OK
>>> print res.getheaders()
[('content-length', '0'), ('expires', '-1'), ('server', 'gws'), ('cache-control', 'private, max-age=0'), ('date', 'Sat, 20 Sep 2008 06:43:36 GMT'), ('content-type', 'text/html; charset=ISO-8859-1')]

Ngoài ra còn getheader(name)có một tiêu đề cụ thể.

urllib2 có thể được sử dụng để thực hiện yêu cầu HEAD. Điều này đẹp hơn một chút so với sử dụng httplib vì urllib2 phân tích URL cho bạn thay vì yêu cầu bạn chia URL thành tên máy chủ và đường dẫn.

>>> import urllib2
>>> class HeadRequest(urllib2.Request):
...     def get_method(self):
...         return "HEAD"
... 
>>> response = urllib2.urlopen(HeadRequest("http://google.com/index.html"))

Tiêu đề có sẵn thông qua response.info () như trước đây. Điều thú vị là bạn có thể tìm thấy URL mà bạn đã được chuyển hướng đến:

>>> print response.geturl()
http://www.google.com.au/index.html

RequestsCách bắt buộc :

import requests

resp = requests.head("http://www.google.com")
print resp.status_code, resp.text, resp.headers

Tôi tin rằng thư viện Yêu cầu cũng nên được đề cập.

Chỉ:

import urllib2
request = urllib2.Request('http://localhost:8080')
request.get_method = lambda : 'HEAD'

response = urllib2.urlopen(request)
response.info().gettype()

Chỉnh sửa: Tôi mới nhận ra có httplib2: D

import httplib2
h = httplib2.Http()
resp = h.request("http://www.google.com", 'HEAD')
assert resp[0]['status'] == 200
assert resp[0]['content-type'] == 'text/html'
...

văn bản liên kết

Để có một câu trả lời Python3 tương đương với câu trả lời được chấp nhận bằng cách sử dụng httplib .

Về cơ bản nó giống như một đoạn mã chỉ khác là thư viện không được gọi là httplib nữa mà là http.client

from http.client import HTTPConnection

conn = HTTPConnection('www.google.com')
conn.request('HEAD', '/index.html')
res = conn.getresponse()

print(res.status, res.reason)

import httplib
import urlparse

def unshorten_url(url):
    parsed = urlparse.urlparse(url)
    h = httplib.HTTPConnection(parsed.netloc)
    h.request('HEAD', parsed.path)
    response = h.getresponse()
    if response.status/100 == 3 and response.getheader('Location'):
        return response.getheader('Location')
    else:
        return url

Ngoài ra, khi sử dụng httplib (ít nhất là trên 2.5.2), việc cố gắng đọc phản hồi của một yêu cầu HEAD sẽ chặn (trên dòng đọc) và sau đó không thành công. Nếu bạn không đặt vấn đề đọc trên phản hồi, bạn không thể gửi một yêu cầu khác trên kết nối, bạn sẽ cần phải mở một yêu cầu mới. Hoặc chấp nhận một thời gian dài giữa các lần yêu cầu.

Tôi nhận thấy rằng httplib nhanh hơn urllib2 một chút. Tôi hẹn giờ hai chương trình - một chương trình sử dụng httplib và chương trình kia sử dụng urllib2 - gửi yêu cầu HEAD đến 10.000 URL. Httplib nhanh hơn vài phút. httplibTổng số thống kê của là: 6m21.334s người dùng thực 0m2.124s sys 0m16.372s

Và tổng số liệu thống kê của urllib2 là: người dùng thực 9m1.380s 0m16.666s sys 0m28.565s

Có ai khác có đầu vào về điều này?

Và một cách tiếp cận khác (tương tự như câu trả lời Pawel):

import urllib2
import types

request = urllib2.Request('http://localhost:8080')
request.get_method = types.MethodType(lambda self: 'HEAD', request, request.__class__)

Chỉ để tránh có các phương thức không bị ràng buộc ở cấp cá thể.

Có lẽ dễ dàng hơn: sử dụng urllib hoặc urllib2.

>>> import urllib
>>> f = urllib.urlopen('http://google.com')
>>> f.info().gettype()
'text/html'

f.info () là một đối tượng giống như từ điển, vì vậy bạn có thể thực hiện f.info () ['content-type'], v.v.

http://docs.python.org/library/urllib.html
http://docs.python.org/library/urllib2.html
http://docs.python.org/library/httplib.html

Tài liệu lưu ý rằng httplib thường không được sử dụng trực tiếp.