Dấu chấm MongoDB (.) Trong tên khóa

Có vẻ như mongo không cho phép chèn các khóa có dấu chấm (.) Hoặc dấu đô la ($) tuy nhiên khi tôi nhập tệp JSON có chứa dấu chấm trong đó bằng công cụ mongoimport, nó hoạt động tốt. Người lái xe đang phàn nàn về việc cố gắng chèn phần tử đó.

Đây là tài liệu trông như thế nào trong cơ sở dữ liệu:

{
    "_id": {
        "$oid": "..."
    },
    "make": "saab",
    "models": {
        "9.7x": [
            2007,
            2008,
            2009,
            2010
        ]
    }
}

Tôi làm điều này hoàn toàn sai và không nên sử dụng bản đồ băm như vậy với dữ liệu bên ngoài (tức là các mô hình) hay tôi có thể thoát khỏi dấu chấm bằng cách nào đó? Có lẽ tôi đang nghĩ quá nhiều về Javascript.

MongoDB không hỗ trợ các khóa có dấu chấm nên bạn sẽ phải xử lý trước tệp JSON của mình để xóa / thay thế chúng trước khi nhập hoặc bạn sẽ tự đặt ra cho mình đủ loại vấn đề.

Không có một giải pháp tiêu chuẩn nào cho vấn đề này, cách tiếp cận tốt nhất quá phụ thuộc vào các chi tiết cụ thể của tình huống. Nhưng tôi sẽ tránh bất kỳ cách tiếp cận bộ mã hóa / giải mã khóa nào nếu có thể vì bạn sẽ tiếp tục phải trả sự bất tiện của điều đó vĩnh viễn, trong đó việc tái cấu trúc JSON có lẽ sẽ là chi phí một lần.

Như đã đề cập trong các câu trả lời khác, MongoDB không cho phép $hoặc .ký tự làm khóa bản đồ do các hạn chế về tên trường . Tuy nhiên, như đã đề cập trong Dollar Sign Operator Thoát khỏi hạn chế này không ngăn bạn chèn tài liệu bằng các khóa như vậy, nó chỉ ngăn bạn cập nhật hoặc truy vấn chúng.

Vấn đề chỉ cần thay thế .bằng [dot]hoặc U+FF0E(như đã đề cập ở những nơi khác trên trang này) là, điều gì sẽ xảy ra khi người dùng muốn lưu trữ khóa [dot]hoặc U+FF0E?

Một cách tiếp cận mà trình điều khiển afMorphia của Fantom thực hiện, là sử dụng trình tự thoát unicode tương tự như của Java, nhưng đảm bảo ký tự thoát được thoát trước. Về bản chất, các chuỗi thay thế sau được thực hiện (*):

\  -->  \\
$  -->  \u0024
.  -->  \u002e

Thay thế ngược lại được thực hiện khi các khóa bản đồ sau đó được đọc từ MongoDB.

Hoặc trong mã Fantom :

Str encodeKey(Str key) {
    return key.replace("\\", "\\\\").replace("\$", "\\u0024").replace(".", "\\u002e")
}

Str decodeKey(Str key) {
    return key.replace("\\u002e", ".").replace("\\u0024", "\$").replace("\\\\", "\\")
}

Thời điểm duy nhất người dùng cần biết về các chuyển đổi đó là khi xây dựng các truy vấn cho các khóa như vậy.

Do việc lưu trữ dotted.property.namestrong cơ sở dữ liệu cho mục đích cấu hình là phổ biến, tôi tin rằng cách tiếp cận này phù hợp hơn khi chỉ cần cấm tất cả các khóa bản đồ như vậy.

(*) afMorphia thực sự thực hiện các quy tắc thoát unicode đầy đủ / thích hợp như đã đề cập trong cú pháp thoát Unicode trong Java nhưng trình tự thay thế được mô tả cũng hoạt động tốt.

Các tài liệu Mongo đề xuất thay thế các ký tự bất hợp pháp như $và .bằng các ký tự tương đương unicode của chúng.

Trong những trường hợp này, các khóa sẽ cần thay thế $ và. nhân vật. Bất kỳ ký tự nào là đủ, nhưng hãy cân nhắc sử dụng các ký tự tương đương chiều rộng đầy đủ Unicode: U + FF04 (tức là “＄”) và U + FF0E (tức là “．”).

Phiên bản ổn định mới nhất (v3.6.1) của MongoDB hiện hỗ trợ dấu chấm (.) Trong các phím hoặc tên trường.

Tên trường hiện có thể chứa các ký tự dấu chấm (.) Và đô la ($)

Một giải pháp mà tôi vừa thực hiện mà tôi thực sự hài lòng là tách tên và giá trị khóa thành hai trường riêng biệt. Bằng cách này, tôi có thể giữ các ký tự giống hệt nhau và không phải lo lắng về bất kỳ cơn ác mộng phân tích cú pháp nào. Tài liệu sẽ trông giống như:

{
    ...
    keyName: "domain.com",
    keyValue: "unregistered",
    ...
}

Bạn vẫn có thể truy vấn điều này dễ dàng, chỉ bằng cách thực hiện findtrên các trường keyName và keyValue .

Vì vậy, thay vì:

 db.collection.find({"domain.com":"unregistered"})

mà không thực sự hoạt động như mong đợi, bạn sẽ chạy:

db.collection.find({keyName:"domain.com", keyValue:"unregistered"})

và nó sẽ trả về tài liệu mong đợi.

Bạn có thể thử sử dụng hàm băm trong khóa thay vì giá trị và sau đó lưu trữ giá trị đó trong giá trị JSON.

var crypto = require("crypto");   

function md5(value) {
    return crypto.createHash('md5').update( String(value) ).digest('hex');
}

var data = {
    "_id": {
        "$oid": "..."
    },
    "make": "saab",
    "models": {}
}

var version = "9.7x";

data.models[ md5(version) ] = {
    "version": version,
    "years" : [
        2007,
        2008,
        2009,
        2010
    ]
}

Sau đó, bạn sẽ truy cập các mô hình bằng cách sử dụng hàm băm sau này.

var version = "9.7x";
collection.find( { _id : ...}, function(e, data ) {
    var models = data.models[ md5(version) ];
}

Nó được hỗ trợ ngay bây giờ

MongoDb 3.6 trở đi hỗ trợ cả dấu chấm và đô la trong tên trường. Xem bên dưới JIRA: https://jira.mongodb.org/browse/JAVA-2810

Nâng cấp Mongodb của bạn lên 3.6+ nghe có vẻ là cách tốt nhất.

Từ tài liệu MongoDB "the '." ký tự không được xuất hiện ở bất kỳ đâu trong tên khóa ". Có vẻ như bạn sẽ phải đưa ra một lược đồ mã hóa hoặc làm mà không.

Bạn sẽ cần phải thoát khỏi các phím. Vì có vẻ như hầu hết mọi người không biết cách thoát chuỗi đúng cách, đây là các bước:

1. chọn một ký tự thoát (tốt nhất nên chọn một ký tự hiếm khi được sử dụng). Ví dụ. '~'
2. Để thoát, trước tiên hãy thay thế tất cả các trường hợp của ký tự thoát bằng một số chuỗi được thêm trước bằng ký tự thoát của bạn (ví dụ: '~' -> '~ t'), sau đó thay thế bất kỳ ký tự hoặc chuỗi nào bạn cần để thoát bằng một số chuỗi được thêm trước bằng ký tự thoát của bạn . Ví dụ. '.' -> '~ p'
3. Để unescape, trước tiên hãy xóa chuỗi thoát khỏi tất cả các phiên bản của chuỗi thoát thứ hai của bạn (ví dụ: '~ p' -> '.'), Sau đó chuyển chuỗi ký tự thoát của bạn thành một ký tự thoát duy nhất (ví dụ: '~ s' -> '~ ')

Ngoài ra, hãy nhớ rằng mongo cũng không cho phép các khóa bắt đầu bằng '$', vì vậy bạn phải làm điều gì đó tương tự ở đó

Đây là một số mã thực hiện nó:

// returns an escaped mongo key
exports.escape = function(key) {
  return key.replace(/~/g, '~s')
            .replace(/\./g, '~p')
            .replace(/^\$/g, '~d')
}

// returns an unescaped mongo key
exports.unescape = function(escapedKey) {
  return escapedKey.replace(/^~d/g, '$')
                   .replace(/~p/g, '.')
                   .replace(/~s/g, '~')
}

Một câu trả lời muộn, nhưng nếu bạn sử dụng Spring và Mongo, Spring có thể quản lý chuyển đổi cho bạn MappingMongoConverter. Đó là giải pháp của JohnnyHK nhưng do Spring xử lý.

@Autowired
private MappingMongoConverter converter;

@PostConstruct
public void configureMongo() {
 converter.setMapKeyDotReplacement("xxx");
}

Nếu Json được lưu trữ của bạn là:

{ "axxxb" : "value" }

Qua Spring (MongoClient), nó sẽ được đọc là:

{ "a.b" : "value" }

Tôi sử dụng lối thoát sau trong JavaScript cho mỗi khóa đối tượng:

key.replace(/\\/g, '\\\\').replace(/^\$/, '\\$').replace(/\./g, '\\_')

Điều tôi thích về nó là nó chỉ thay thế $ở phần đầu và nó không sử dụng các ký tự unicode có thể khó sử dụng trong bảng điều khiển. _đối với tôi dễ đọc hơn nhiều so với một ký tự unicode. Nó cũng không thay thế một bộ ký tự đặc biệt ( $, .) bằng một bộ khác (unicode). Nhưng thoát đúng cách với truyền thống \.

Không hoàn hảo, nhưng sẽ hoạt động trong hầu hết các tình huống: thay thế các ký tự bị cấm bằng một thứ khác. Vì nó nằm trong khóa, những ký tự mới này sẽ khá hiếm.

/** This will replace \ with ⍀, ^$ with '₴' and dots with ⋅  to make the object compatible for mongoDB insert. 
Caveats:
    1. If you have any of ⍀, ₴ or ⋅ in your original documents, they will be converted to \$.upon decoding. 
    2. Recursive structures are always an issue. A cheap way to prevent a stack overflow is by limiting the number of levels. The default max level is 10.
 */
encodeMongoObj = function(o, level = 10) {
    var build = {}, key, newKey, value
    //if (typeof level === "undefined") level = 20     // default level if not provided
    for (key in o) {
        value = o[key]
        if (typeof value === "object") value = (level > 0) ? encodeMongoObj(value, level - 1) : null     // If this is an object, recurse if we can

        newKey = key.replace(/\\/g, '⍀').replace(/^\$/, '₴').replace(/\./g, '⋅')    // replace special chars prohibited in mongo keys
        build[newKey] = value
    }
    return build
}

/** This will decode an object encoded with the above function. We assume the structure is not recursive since it should come from Mongodb */
decodeMongoObj = function(o) {
    var build = {}, key, newKey, value
    for (key in o) {
        value = o[key]
        if (typeof value === "object") value = decodeMongoObj(value)     // If this is an object, recurse
        newKey = key.replace(/⍀/g, '\\').replace(/^₴/, '$').replace(/⋅/g, '.')    // replace special chars prohibited in mongo keys
        build[newKey] = value
    }
    return build
}

Đây là một bài kiểm tra:

var nastyObj = {
    "sub.obj" : {"$dollar\\backslash": "$\\.end$"}
}
nastyObj["$you.must.be.kidding"] = nastyObj     // make it recursive

var encoded = encodeMongoObj(nastyObj, 1)
console.log(encoded)
console.log( decodeMongoObj( encoded) )

và kết quả - lưu ý rằng các giá trị không được sửa đổi:

{
  sub⋅obj: {
    ₴dollar⍀backslash: "$\\.end$"
  },
  ₴you⋅must⋅be⋅kidding: {
    sub⋅obj: null,
    ₴you⋅must⋅be⋅kidding: null
  }
}
[12:02:47.691] {
  "sub.obj": {
    $dollar\\backslash: "$\\.end$"
  },
  "$you.must.be.kidding": {
    "sub.obj": {},
    "$you.must.be.kidding": {}
  }
}

Có một số cách xấu để truy vấn nó không được khuyến khích sử dụng trong ứng dụng thay vì cho mục đích gỡ lỗi (chỉ hoạt động trên các đối tượng được nhúng):

db.getCollection('mycollection').aggregate([
    {$match: {mymapfield: {$type: "object" }}}, //filter objects with right field type
    {$project: {mymapfield: { $objectToArray: "$mymapfield" }}}, //"unwind" map to array of {k: key, v: value} objects
    {$match: {mymapfield: {k: "my.key.with.dot", v: "myvalue"}}} //query
])

Như một người dùng khác đã đề cập, việc mã hóa / giải mã điều này có thể trở thành vấn đề trong tương lai, vì vậy việc thay thế tất cả các phím có dấu chấm có thể dễ dàng hơn. Đây là một hàm đệ quy mà tôi đã thực hiện để thay thế các phím bằng '.' lần xuất hiện:

def mongo_jsonify(dictionary):
    new_dict = {}
    if type(dictionary) is dict:
        for k, v in dictionary.items():
            new_k = k.replace('.', '-')
            if type(v) is dict:
                new_dict[new_k] = mongo_jsonify(v)
            elif type(v) is list:
                new_dict[new_k] = [mongo_jsonify(i) for i in v]
            else:
                new_dict[new_k] = dictionary[k]
        return new_dict
    else:
        return dictionary

if __name__ == '__main__':
    with open('path_to_json', "r") as input_file:
        d = json.load(input_file)
    d = mongo_jsonify(d)
    pprint(d)

Bạn cũng có thể sửa đổi mã này để thay thế '$', vì đó là một ký tự khác mà mongo sẽ không cho phép trong khóa.

Đối với PHP, tôi thay thế giá trị HTML cho dấu chấm. Đó là"." .

Nó lưu trữ trong MongoDB như thế này:

  "validations" : {
     "4e25adbb1b0a55400e030000" : {
     "associate" : "true" 
    },
     "4e25adb11b0a55400e010000" : {
       "associate" : "true" 
     } 
   } 

và mã PHP ...

  $entry = array('associate' => $associate);         
  $data = array( '$set' => array( 'validations.' . str_replace(".", `"."`, $validation) => $entry ));     
  $newstatus = $collection->update($key, $data, $options);      

Các cặp Lodash sẽ cho phép bạn thay đổi

{ 'connect.sid': 's:hyeIzKRdD9aucCc5NceYw5zhHN5vpFOp.0OUaA6' }

thành

[ [ 'connect.sid',
's:hyeIzKRdD9aucCc5NceYw5zhHN5vpFOp.0OUaA6' ] ]

sử dụng

var newObj = _.pairs(oldObj);

Bạn có thể lưu trữ nó như cũ và chuyển đổi thành khá sau

Tôi đã viết ví dụ này trên Livescript. Bạn có thể sử dụng trang web livescript.net để đánh giá nó

test =
  field:
    field1: 1
    field2: 2
    field3: 5
    nested:
      more: 1
      moresdafasdf: 23423
  field3: 3



get-plain = (json, parent)->
  | typeof! json is \Object => json |> obj-to-pairs |> map -> get-plain it.1, [parent,it.0].filter(-> it?).join(\.)
  | _ => key: parent, value: json

test |> get-plain |> flatten |> map (-> [it.key, it.value]) |> pairs-to-obj

Nó sẽ sản xuất

{"field.field1":1,
 "field.field2":2,
 "field.field3":5,
 "field.nested.more":1,
 "field.nested.moresdafasdf":23423,
 "field3":3}

Cho bạn mẹo của tôi: Bạn có thể sử dụng JSON.stringify để lưu Đối tượng / Mảng chứa tên khóa có dấu chấm, sau đó phân tích cú pháp chuỗi thành Đối tượng bằng JSON. Phân tích cú pháp để xử lý khi lấy dữ liệu từ cơ sở dữ liệu

Một giải pháp khác: Cấu trúc lại lược đồ của bạn như:

key : {
"keyName": "a.b"
"value": [Array]
}

MongoDB mới nhất không hỗ trợ các phím có dấu chấm, nhưng trình điều khiển java MongoDB không hỗ trợ. Vì vậy, để làm cho nó hoạt động trong Java, tôi đã lấy mã từ github repo của java-mongo-driver và thực hiện các thay đổi tương ứng trong chức năng isValid Key của chúng, tạo jar mới từ nó, sử dụng nó ngay bây giờ.

Thay thế dấu chấm ( .) hoặc đô la ( $) bằng các ký tự khác sẽ không bao giờ được sử dụng trong tài liệu thực. Và khôi phục dấu chấm (. ) hoặc đô la ( $) khi truy xuất tài liệu. Chiến lược sẽ không ảnh hưởng đến dữ liệu mà người dùng đọc.

Bạn có thể chọn ký tự từ tất cả các ký tự .

Điều kỳ lạ là, bằng cách sử dụng mongojs, tôi có thể tạo tài liệu có dấu chấm nếu tôi tự đặt _id, tuy nhiên tôi không thể tạo tài liệu khi _id được tạo:

Làm việc:

db.testcollection.save({"_id": "testdocument", "dot.ted.": "value"}, (err, res) => {
    console.log(err, res);
});

Không hoạt động:

db.testcollection.save({"dot.ted": "value"}, (err, res) => {
    console.log(err, res);
});

Đầu tiên tôi nghĩ rằng cập nhật tài liệu bằng khóa dấu chấm cũng có tác dụng, nhưng nó xác định dấu chấm như một khóa con!

Xem cách mongojs xử lý dấu chấm (khóa con), tôi sẽ đảm bảo các khóa của mình không chứa dấu chấm.

Giống như những gì @JohnnyHK đã đề cập, hãy xóa dấu chấm câu hoặc '.' từ các khóa của bạn vì nó sẽ tạo ra các vấn đề lớn hơn nhiều khi dữ liệu của bạn bắt đầu tích lũy thành một tập dữ liệu lớn hơn. Điều này sẽ gây ra sự cố, đặc biệt là khi bạn gọi các toán tử tổng hợp như $ merge yêu cầu truy cập và so sánh các khóa sẽ gây ra lỗi. Tôi đã học nó một cách khó khăn xin đừng lặp lại đối với những người đang bắt đầu.

/home/user/anaconda3/lib/python3.6/site-packages/pymongo/collection.py

Tìm thấy nó trong thông báo lỗi. Nếu bạn sử dụng anaconda(tìm tệp tương ứng nếu không), chỉ cần thay đổi giá trị từ check_keys = Truethành Falsetrong tệp đã nêu ở trên. Điều đó sẽ hoạt động!