Để đối tượng JSON chấp nhận byte hoặc để chuỗi đầu ra urlopen

Với Python 3 tôi đang yêu cầu một tài liệu json từ một URL.

response = urllib.request.urlopen(request)

Đối responsetượng là một đối tượng giống như tệp với readvà readlinecác phương thức. Thông thường một đối tượng JSON có thể được tạo bằng một tệp được mở ở chế độ văn bản.

obj = json.load(fp)

Những gì tôi muốn làm là:

obj = json.load(response)

Tuy nhiên, điều này không hoạt động vì urlopen trả về một đối tượng tệp ở chế độ nhị phân.

Một công việc xung quanh là tất nhiên:

str_response = response.read().decode('utf-8')
obj = json.loads(str_response)

nhưng điều này cảm thấy tồi tệ ...

Có cách nào tốt hơn để tôi có thể chuyển đổi một đối tượng tệp byte thành một đối tượng tệp chuỗi không? Hoặc tôi đang thiếu bất kỳ tham số nào cho một urlopenhoặc json.loadđể mã hóa?

HTTP gửi byte. Nếu tài nguyên được đề cập là văn bản, mã hóa ký tự thường được chỉ định, theo tiêu đề HTTP Loại nội dung hoặc theo cơ chế khác (RFC, HTML meta http-equiv, ...).

urllib nên biết cách mã hóa các byte thành một chuỗi, nhưng nó quá ngây thơ, đó là một thư viện không đủ sức mạnh và không có Pythonic.

Đi sâu vào Python 3 cung cấp một cái nhìn tổng quan về tình huống này.

"Cách giải quyết" của bạn là tốt, mặc dù cảm thấy sai, đó là cách chính xác để làm điều đó.

Thư viện tiêu chuẩn tuyệt vời của Python để giải cứu

import codecs

reader = codecs.getreader("utf-8")
obj = json.load(reader(response))

Hoạt động với cả py2 và py3.

Tài liệu: Python 2 , Python3

Tôi đã có ý kiến ​​rằng câu hỏi là câu trả lời tốt nhất :)

import json
from urllib.request import urlopen

response = urlopen("site.com/api/foo/bar").read().decode('utf8')
obj = json.loads(response)

Đối với bất kỳ ai khác đang cố gắng giải quyết điều này bằng requeststhư viện:

import json
import requests

r = requests.get('http://localhost/index.json')
r.raise_for_status()
# works for Python2 and Python3
json.loads(r.content.decode('utf-8'))

Cái này hoạt động với tôi, tôi đã sử dụng thư viện 'request' với json()kiểm tra tài liệu trong các yêu cầu cho con người

import requests

url = 'here goes your url'

obj = requests.get(url).json() 

Tôi gặp vấn đề tương tự khi sử dụng Python 3.4.3 & 3.5.2 và Django 1.11.3. Tuy nhiên, khi tôi nâng cấp lên Python 3.6.1, các vấn đề đã biến mất.

Bạn có thể đọc thêm về nó ở đây: https://docs.python.org/3/whatsnew/3.6.html#json

Nếu bạn không bị ràng buộc với một phiên bản Python cụ thể, chỉ cần xem xét nâng cấp lên 3.6 trở lên.

Nếu bạn đang gặp phải vấn đề này trong khi sử dụng microframework, thì bạn có thể thực hiện:

data = json.loads(response.get_data(as_text=True))

Từ các tài liệu : "Nếu asSphere được đặt thành True, giá trị trả về sẽ là một chuỗi unicode được giải mã"

Cách giải quyết của bạn thực sự chỉ cứu tôi. Tôi đã gặp rất nhiều vấn đề khi xử lý yêu cầu bằng khung Falcon. Điều này làm việc cho tôi. req là mẫu yêu cầu curl pr httpie

json.loads(req.stream.read().decode('utf-8'))

Điều này sẽ truyền dữ liệu byte vào json.

import io

obj = json.load(io.TextIOWrapper(response))

io.TextIOWrapper được ưu tiên cho trình đọc mô-đun của codec. https://www.python.org/dev/peps/pep-0400/

Chỉ cần tìm phương pháp đơn giản này để biến nội dung của httpResponse thành json

import json

request = RequestFactory() # ignore this, this just like your request object

response = MyView.as_view()(request) # got response as HttpResponse object

response.render() # call this so we could call response.content after

json_response = json.loads(response.content.decode('utf-8'))

print(json_response) # {"your_json_key": "your json value"}

Mong rằng sẽ giúp bạn

Kể từ Python 3.6, bạn có thể sử dụng json.loads()để bytesgiải tuần tự hóa một đối tượng trực tiếp (mã hóa phải là UTF-8, UTF-16 hoặc UTF-32). Vì vậy, chỉ sử dụng các mô-đun từ thư viện chuẩn, bạn có thể làm:

import json
from urllib import request

response = request.urlopen(url).read()
data = json.loads(response)

Tôi đã sử dụng chương trình dưới đây để sử dụng json.loads()

import urllib.request
import json
endpoint = 'https://maps.googleapis.com/maps/api/directions/json?'
api_key = 'AIzaSyABbKiwfzv9vLBR_kCuhO7w13Kseu68lr0'
origin = input('where are you ?').replace(' ','+')
destination = input('where do u want to go').replace(' ','+')
nav_request = 'origin={}&destination={}&key={}'.format(origin,destination,api_key)
request = endpoint + nav_request
response = urllib.request.urlopen(request).read().decode('utf-8')
directions = json.loads(response)
print(directions)