Python JSON tuần tự hóa một đối tượng thập phân

Tôi có một Decimal('3.9')phần của một đối tượng và muốn mã hóa chuỗi này thành chuỗi JSON trông giống như vậy {'x': 3.9}. Tôi không quan tâm đến độ chính xác ở phía khách hàng, vì vậy nổi là ổn.

Có một cách tốt để nối tiếp này? JSONDecoder không chấp nhận các đối tượng Decimal và chuyển đổi thành float trước đó mang lại kết quả {'x': 3.8999999999999999}sai và sẽ gây lãng phí lớn về băng thông.

Làm thế nào về phân lớp json.JSONEncoder?

class DecimalEncoder(json.JSONEncoder):
    def _iterencode(self, o, markers=None):
        if isinstance(o, decimal.Decimal):
            # wanted a simple yield str(o) in the next line,
            # but that would mean a yield on the line with super(...),
            # which wouldn't work (see my comment below), so...
            return (str(o) for o in [o])
        return super(DecimalEncoder, self)._iterencode(o, markers)

Sau đó sử dụng nó như vậy:

json.dumps({'x': decimal.Decimal('5.5')}, cls=DecimalEncoder)

Simplejson 2.1 trở lên có hỗ trợ riêng cho loại Thập phân:

>>> json.dumps(Decimal('3.9'), use_decimal=True)
'3.9'

Lưu ý rằng use_decimallà Truetheo mặc định:

def dumps(obj, skipkeys=False, ensure_ascii=True, check_circular=True,
    allow_nan=True, cls=None, indent=None, separators=None,
    encoding='utf-8', default=None, use_decimal=True,
    namedtuple_as_object=True, tuple_as_array=True,
    bigint_as_string=False, sort_keys=False, item_sort_key=None,
    for_json=False, ignore_nan=False, **kw):

Vì thế:

>>> json.dumps(Decimal('3.9'))
'3.9'

Hy vọng, tính năng này sẽ được đưa vào thư viện tiêu chuẩn.

Tôi muốn cho mọi người biết rằng tôi đã thử câu trả lời của Michał Marchot trên máy chủ web của tôi đang chạy Python 2.6.5 và nó hoạt động tốt. Tuy nhiên, tôi đã nâng cấp lên Python 2.7 và nó đã ngừng hoạt động. Tôi đã cố gắng nghĩ ra một số cách để mã hóa các đối tượng Thập phân và đây là những gì tôi nghĩ ra:

import decimal

class DecimalEncoder(json.JSONEncoder):
    def default(self, o):
        if isinstance(o, decimal.Decimal):
            return float(o)
        return super(DecimalEncoder, self).default(o)

Điều này hy vọng sẽ giúp được bất cứ ai gặp vấn đề với Python 2.7. Tôi đã thử nó và nó có vẻ hoạt động tốt. Nếu bất cứ ai nhận thấy bất kỳ lỗi trong giải pháp của tôi hoặc đưa ra một cách tốt hơn, xin vui lòng cho tôi biết.

Trong ứng dụng Flask của tôi, sử dụng python 2.7.11, alchemy bình (với các loại 'db.decimal') và Flask Marshmallow (đối với trình tuần tự hóa và trình giải mã 'tức thời'), tôi đã gặp lỗi này, mỗi khi tôi thực hiện GET hoặc POST . Trình tuần tự hóa và trình giải tuần tự, không thể chuyển đổi các loại thập phân thành bất kỳ định dạng nhận dạng JSON nào.

Tôi đã thực hiện một "pip install simplejson", sau đó chỉ bằng cách thêm

import simplejson as json

serializer và deserializer bắt đầu rú lên một lần nữa. Tôi không làm gì khác ... DEciamls được hiển thị ở định dạng float '234.00'.

Tôi đã thử chuyển từ đơn giản sang tích hợp sẵn cho GAE 2.7 và gặp vấn đề với số thập phân. Nếu mặc định trả về str (o), có dấu ngoặc kép (vì _iterencode gọi _iterencode trên kết quả mặc định) và float (o) sẽ xóa dấu 0.

Nếu mặc định trả về một đối tượng của một lớp kế thừa từ float (hoặc bất cứ thứ gì gọi repr mà không cần định dạng bổ sung) và có một phương thức __Vpr__ tùy chỉnh, nó dường như hoạt động như tôi muốn.

import json
from decimal import Decimal

class fakefloat(float):
    def __init__(self, value):
        self._value = value
    def __repr__(self):
        return str(self._value)

def defaultencode(o):
    if isinstance(o, Decimal):
        # Subclass float with custom repr?
        return fakefloat(o)
    raise TypeError(repr(o) + " is not JSON serializable")

json.dumps([10.20, "10.20", Decimal('10.20')], default=defaultencode)
'[10.2, "10.20", 10.20]'

Tùy chọn gốc bị thiếu, vì vậy tôi sẽ thêm nó cho anh chàng / gall tiếp theo tìm kiếm nó.

Bắt đầu trên Django 1.7.x có một tích hợp DjangoJSONEncodermà bạn có thể lấy nó từ đó django.core.serializers.json.

import json
from django.core.serializers.json import DjangoJSONEncoder
from django.forms.models import model_to_dict

model_instance = YourModel.object.first()
model_dict = model_to_dict(model_instance)

json.dumps(model_dict, cls=DjangoJSONEncoder)

Mau!

$ 0,02 của tôi!

Tôi mở rộng một loạt các bộ mã hóa JSON vì tôi đang tuần tự hóa hàng tấn dữ liệu cho máy chủ web của mình. Đây là một số mã tốt đẹp. Lưu ý rằng nó có thể dễ dàng mở rộng đến hầu hết mọi định dạng dữ liệu mà bạn cảm thấy thích và sẽ sao chép 3.9 như"thing": 3.9

JSONEncoder_olddefault = json.JSONEncoder.default
def JSONEncoder_newdefault(self, o):
    if isinstance(o, UUID): return str(o)
    if isinstance(o, datetime): return str(o)
    if isinstance(o, time.struct_time): return datetime.fromtimestamp(time.mktime(o))
    if isinstance(o, decimal.Decimal): return str(o)
    return JSONEncoder_olddefault(self, o)
json.JSONEncoder.default = JSONEncoder_newdefault

Làm cho cuộc sống của tôi dễ dàng hơn nhiều ...

3.9không thể được trình bày chính xác trong các float của IEEE, nó sẽ luôn xuất hiện 3.8999999999999999, ví dụ như thử print repr(3.9) , bạn có thể đọc thêm về nó ở đây:

http://en.wikipedia.org/wiki/Floating_point
http://docs.sun.com/source/806-3568/ncg_goldberg.html

Vì vậy, nếu bạn không muốn float, chỉ có tùy chọn bạn phải gửi nó dưới dạng chuỗi và để cho phép tự động chuyển đổi các đối tượng thập phân thành JSON, hãy làm một cái gì đó như sau:

import decimal
from django.utils import simplejson

def json_encode_decimal(obj):
    if isinstance(obj, decimal.Decimal):
        return str(obj)
    raise TypeError(repr(obj) + " is not JSON serializable")

d = decimal.Decimal('3.5')
print simplejson.dumps([d], default=json_encode_decimal)

Đối với người dùng Django :

Gần đây đã xuất hiện TypeError: Decimal('2337.00') is not JSON serializable trong khi mã hóa JSON tức làjson.dumps(data)

Giải pháp :

# converts Decimal, Datetime, UUIDs to str for Encoding
from django.core.serializers.json import DjangoJSONEncoder  

json.dumps(response.data, cls=DjangoJSONEncoder)

Nhưng, bây giờ giá trị thập phân sẽ là một chuỗi, bây giờ chúng ta có thể đặt rõ ràng trình phân tích cú pháp giá trị thập phân / dấu phẩy khi giải mã dữ liệu, sử dụng parse_floattùy chọn trong json.loads:

import decimal 

data = json.loads(data, parse_float=decimal.Decimal) # default is float(num_str)

Từ Tài liệu chuẩn JSON , như được liên kết trong json.org :

JSON là bất khả tri về ngữ nghĩa của các con số. Trong bất kỳ ngôn ngữ lập trình nào, có thể có nhiều loại số lượng năng lực và bổ sung khác nhau, cố định hoặc trôi nổi, nhị phân hoặc thập phân. Điều đó có thể làm cho việc trao đổi giữa các ngôn ngữ lập trình khác nhau trở nên khó khăn. Thay vào đó, JSON chỉ cung cấp biểu diễn các số mà con người sử dụng: một chuỗi các chữ số. Tất cả các ngôn ngữ lập trình đều biết cách hiểu ý nghĩa của các chuỗi số ngay cả khi chúng không đồng ý với các biểu diễn bên trong. Điều đó là đủ để cho phép trao đổi.

Vì vậy, thật sự chính xác khi biểu diễn Số thập phân dưới dạng số (chứ không phải chuỗi) trong JSON. Dưới đây là một giải pháp có thể cho vấn đề.

Xác định bộ mã hóa JSON tùy chỉnh:

import json


class CustomJsonEncoder(json.JSONEncoder):

    def default(self, obj):
        if isinstance(obj, Decimal):
            return float(obj)
        return super(CustomJsonEncoder, self).default(obj)

Sau đó sử dụng nó khi tuần tự hóa dữ liệu của bạn:

json.dumps(data, cls=CustomJsonEncoder)

Như đã lưu ý từ các nhận xét về các câu trả lời khác, các phiên bản cũ hơn của trăn có thể làm xáo trộn đại diện khi chuyển đổi thành float, nhưng đó không còn là vấn đề nữa.

Để lấy lại số thập phân trong Python:

Decimal(str(value))

Giải pháp này được gợi ý trong tài liệu Python 3.0 về số thập phân :

Để tạo một số thập phân từ một số float, trước tiên hãy chuyển đổi nó thành một chuỗi.

Đây là những gì tôi có, trích từ lớp chúng tôi

class CommonJSONEncoder(json.JSONEncoder):

    """
    Common JSON Encoder
    json.dumps(myString, cls=CommonJSONEncoder)
    """

    def default(self, obj):

        if isinstance(obj, decimal.Decimal):
            return {'type{decimal}': str(obj)}

class CommonJSONDecoder(json.JSONDecoder):

    """
    Common JSON Encoder
    json.loads(myString, cls=CommonJSONEncoder)
    """

    @classmethod
    def object_hook(cls, obj):
        for key in obj:
            if isinstance(key, six.string_types):
                if 'type{decimal}' == key:
                    try:
                        return decimal.Decimal(obj[key])
                    except:
                        pass

    def __init__(self, **kwargs):
        kwargs['object_hook'] = self.object_hook
        super(CommonJSONDecoder, self).__init__(**kwargs)

Mà vượt qua không đáng tin cậy:

def test_encode_and_decode_decimal(self):
    obj = Decimal('1.11')
    result = json.dumps(obj, cls=CommonJSONEncoder)
    self.assertTrue('type{decimal}' in result)
    new_obj = json.loads(result, cls=CommonJSONDecoder)
    self.assertEqual(new_obj, obj)

    obj = {'test': Decimal('1.11')}
    result = json.dumps(obj, cls=CommonJSONEncoder)
    self.assertTrue('type{decimal}' in result)
    new_obj = json.loads(result, cls=CommonJSONDecoder)
    self.assertEqual(new_obj, obj)

    obj = {'test': {'abc': Decimal('1.11')}}
    result = json.dumps(obj, cls=CommonJSONEncoder)
    self.assertTrue('type{decimal}' in result)
    new_obj = json.loads(result, cls=CommonJSONDecoder)
    self.assertEqual(new_obj, obj)

Bạn có thể tạo một bộ mã hóa JSON tùy chỉnh theo yêu cầu của bạn.

import json
from datetime import datetime, date
from time import time, struct_time, mktime
import decimal

class CustomJSONEncoder(json.JSONEncoder):
    def default(self, o):
        if isinstance(o, datetime):
            return str(o)
        if isinstance(o, date):
            return str(o)
        if isinstance(o, decimal.Decimal):
            return float(o)
        if isinstance(o, struct_time):
            return datetime.fromtimestamp(mktime(o))
        # Any other serializer if needed
        return super(CustomJSONEncoder, self).default(o)

Bộ giải mã có thể được gọi như thế này,

import json
from decimal import Decimal
json.dumps({'x': Decimal('3.9')}, cls=CustomJSONEncoder)

và đầu ra sẽ là:

>>'{"x": 3.9}'

Đối với những người không muốn sử dụng thư viện của bên thứ ba ... Một vấn đề với câu trả lời của Elias Zamaria là nó chuyển thành nổi, có thể gặp vấn đề. Ví dụ:

>>> json.dumps({'x': Decimal('0.0000001')}, cls=DecimalEncoder)
'{"x": 1e-07}'
>>> json.dumps({'x': Decimal('100000000000.01734')}, cls=DecimalEncoder)
'{"x": 100000000000.01733}'

Các JSONEncoder.encode()phương pháp cho phép bạn trả về nội dung json đen, không giống như JSONEncoder.default(), đã bạn quay trở lại một loại tương thích json (như phao) mà sau đó được mã hóa theo cách thông thường. Vấn đề encode()là nó (bình thường) chỉ hoạt động ở cấp cao nhất. Nhưng nó vẫn có thể sử dụng được, với một chút công việc phụ (python 3.x):

import json
from collections.abc import Mapping, Iterable
from decimal import Decimal

class DecimalEncoder(json.JSONEncoder):
    def encode(self, obj):
        if isinstance(obj, Mapping):
            return '{' + ', '.join(f'{self.encode(k)}: {self.encode(v)}' for (k, v) in obj.items()) + '}'
        if isinstance(obj, Iterable) and (not isinstance(obj, str)):
            return '[' + ', '.join(map(self.encode, obj)) + ']'
        if isinstance(obj, Decimal):
            return f'{obj.normalize():f}'  # using normalize() gets rid of trailing 0s, using ':f' prevents scientific notation
        return super().encode(obj)

Cung cấp cho bạn:

>>> json.dumps({'x': Decimal('0.0000001')}, cls=DecimalEncoder)
'{"x": 0.0000001}'
>>> json.dumps({'x': Decimal('100000000000.01734')}, cls=DecimalEncoder)
'{"x": 100000000000.01734}'

Dựa trên câu trả lời stdOrgnlDave tôi đã xác định trình bao bọc này có thể được gọi với các loại tùy chọn để bộ mã hóa sẽ chỉ hoạt động cho một số loại nhất định trong các dự án của bạn. Tôi tin rằng công việc nên được thực hiện bên trong mã của bạn và không sử dụng bộ mã hóa "mặc định" này vì "nó rõ ràng hơn ẩn", nhưng tôi hiểu việc sử dụng điều này sẽ tiết kiệm thời gian của bạn. :-)

import time
import json
import decimal
from uuid import UUID
from datetime import datetime

def JSONEncoder_newdefault(kind=['uuid', 'datetime', 'time', 'decimal']):
    '''
    JSON Encoder newdfeault is a wrapper capable of encoding several kinds
    Use it anywhere on your code to make the full system to work with this defaults:
        JSONEncoder_newdefault()  # for everything
        JSONEncoder_newdefault(['decimal'])  # only for Decimal
    '''
    JSONEncoder_olddefault = json.JSONEncoder.default

    def JSONEncoder_wrapped(self, o):
        '''
        json.JSONEncoder.default = JSONEncoder_newdefault
        '''
        if ('uuid' in kind) and isinstance(o, uuid.UUID):
            return str(o)
        if ('datetime' in kind) and isinstance(o, datetime):
            return str(o)
        if ('time' in kind) and isinstance(o, time.struct_time):
            return datetime.fromtimestamp(time.mktime(o))
        if ('decimal' in kind) and isinstance(o, decimal.Decimal):
            return str(o)
        return JSONEncoder_olddefault(self, o)
    json.JSONEncoder.default = JSONEncoder_wrapped

# Example
if __name__ == '__main__':
    JSONEncoder_newdefault()

Nếu bạn muốn chuyển một từ điển chứa số thập phân vào requeststhư viện (sử dụng jsonđối số từ khóa), bạn chỉ cần cài đặt simplejson:

$ pip3 install simplejson    
$ python3
>>> import requests
>>> from decimal import Decimal
>>> # This won't error out:
>>> requests.post('https://www.google.com', json={'foo': Decimal('1.23')})

Lý do của vấn đề là chỉ requestssử dụng simplejsonnếu nó có mặt và rơi trở lại tích hợp jsonnếu nó không được cài đặt.

điều này có thể được thực hiện bằng cách thêm

    elif isinstance(o, decimal.Decimal):
        yield str(o)

trong \Lib\json\encoder.py:JSONEncoder._iterencode, nhưng tôi đã hy vọng cho một giải pháp tốt hơn