MySQL không đúng giá trị chuỗi Lỗi lỗi khi lưu chuỗi unicode trong Django

Tôi đã nhận được thông báo lỗi lạ khi cố lưu First_name, last_name vào mô hình auth_user của Django.

Ví dụ thất bại

user = User.object.create_user(username, email, password)
user.first_name = u'Rytis'
user.last_name = u'Slatkevičius'
user.save()
>>> Incorrect string value: '\xC4\x8Dius' for column 'last_name' at row 104

user.first_name = u'Валерий'
user.last_name = u'Богданов'
user.save()
>>> Incorrect string value: '\xD0\x92\xD0\xB0\xD0\xBB...' for column 'first_name' at row 104

user.first_name = u'Krzysztof'
user.last_name = u'Szukiełojć'
user.save()
>>> Incorrect string value: '\xC5\x82oj\xC4\x87' for column 'last_name' at row 104

Ví dụ thành công

user.first_name = u'Marcin'
user.last_name = u'Król'
user.save()
>>> SUCCEED

Cài đặt MySQL

mysql> show variables like 'char%';
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       | 
| character_set_connection | utf8                       | 
| character_set_database   | utf8                       | 
| character_set_filesystem | binary                     | 
| character_set_results    | utf8                       | 
| character_set_server     | utf8                       | 
| character_set_system     | utf8                       | 
| character_sets_dir       | /usr/share/mysql/charsets/ | 
+--------------------------+----------------------------+
8 rows in set (0.00 sec)

Bảng ký tự và đối chiếu

Bảng auth_user có bộ ký tự utf-8 với đối chiếu utf8_general_ci.

Kết quả của lệnh CẬP NHẬT

Nó không tăng bất kỳ lỗi nào khi cập nhật các giá trị trên vào bảng auth_user bằng cách sử dụng lệnh UPDATE.

mysql> update auth_user set last_name='Slatkevičiusa' where id=1;
Query OK, 1 row affected, 1 warning (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> select last_name from auth_user where id=100;
+---------------+
| last_name     |
+---------------+
| Slatkevi?iusa | 
+---------------+
1 row in set (0.00 sec)

PostgreSQL

Các giá trị thất bại được liệt kê ở trên có thể được cập nhật vào bảng PostgreSQL khi tôi chuyển đổi phụ trợ cơ sở dữ liệu trong Django. Nó thật kì lạ.

mysql> SHOW CHARACTER SET;
+----------+-----------------------------+---------------------+--------+
| Charset  | Description                 | Default collation   | Maxlen |
+----------+-----------------------------+---------------------+--------+
...
| utf8     | UTF-8 Unicode               | utf8_general_ci     |      3 | 
...

Nhưng từ http://www.postgresql.org/docs/8.1/interactive/multibyte.html , tôi đã tìm thấy như sau:

Name Bytes/Char
UTF8 1-4

Có phải nó có nghĩa là unicode char có maxlen 4 byte trong PostgreSQL nhưng 3 byte trong MySQL đã gây ra lỗi trên?

Không có câu trả lời nào giải quyết được vấn đề cho tôi. Nguyên nhân sâu xa là:

Bạn không thể lưu trữ các ký tự 4 byte trong MySQL với bộ ký tự utf-8.

MySQL có giới hạn 3 byte đối với các ký tự utf-8 (vâng, đó là wack, được tóm tắt độc đáo bởi một nhà phát triển Django ở đây )

Để giải quyết điều này bạn cần phải:

1. Thay đổi cơ sở dữ liệu, bảng và cột MySQL của bạn để sử dụng bộ ký tự utf8mb4 (chỉ có sẵn từ MySQL 5.5 trở đi)
2. Chỉ định bộ ký tự trong tệp cài đặt Django của bạn như dưới đây:

cài đặt

DATABASES = {
    'default': {
        'ENGINE':'django.db.backends.mysql',
        ...
        'OPTIONS': {'charset': 'utf8mb4'},
    }
}

Lưu ý: Khi tạo lại cơ sở dữ liệu của bạn, bạn có thể gặp phải sự cố ' Khóa được chỉ định quá dài '.

Nguyên nhân rất có thể là nguyên nhân CharFieldcó max_length là 255 và một số loại chỉ mục trên đó (ví dụ: duy nhất). Vì utf8mb4 sử dụng nhiều dung lượng hơn 33% so với utf-8, bạn sẽ cần làm cho các trường này nhỏ hơn 33%.

Trong trường hợp này, thay đổi max_length từ 255 thành 191.

Ngoài ra, bạn có thể chỉnh sửa cấu hình MySQL của mình để loại bỏ hạn chế này nhưng không phải không có một số hack django

CẬP NHẬT: Tôi vừa gặp vấn đề này một lần nữa và cuối cùng chuyển sang PostgreSQL vì tôi không thể giảm VARCHARxuống còn 191 ký tự.

Tôi đã có cùng một vấn đề và giải quyết nó bằng cách thay đổi bộ ký tự của cột. Mặc dù cơ sở dữ liệu của bạn có bộ ký tự mặc định, utf-8tôi nghĩ rằng các cột cơ sở dữ liệu có bộ ký tự khác trong MySQL. Đây là SQL QUERY tôi đã sử dụng:

    ALTER TABLE database.table MODIFY COLUMN col VARCHAR(255)
    CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL;

Nếu bạn gặp vấn đề này thì đây là tập lệnh python để tự động thay đổi tất cả các cột trong cơ sở dữ liệu mysql của bạn.

#! /usr/bin/env python
import MySQLdb

host = "localhost"
passwd = "passwd"
user = "youruser"
dbname = "yourdbname"

db = MySQLdb.connect(host=host, user=user, passwd=passwd, db=dbname)
cursor = db.cursor()

cursor.execute("ALTER DATABASE `%s` CHARACTER SET 'utf8' COLLATE 'utf8_unicode_ci'" % dbname)

sql = "SELECT DISTINCT(table_name) FROM information_schema.columns WHERE table_schema = '%s'" % dbname
cursor.execute(sql)

results = cursor.fetchall()
for row in results:
  sql = "ALTER TABLE `%s` convert to character set DEFAULT COLLATE DEFAULT" % (row[0])
  cursor.execute(sql)
db.close()

Nếu đó là một dự án mới, tôi sẽ bỏ cơ sở dữ liệu và tạo một dự án mới với bộ ký tự phù hợp:

CREATE DATABASE <dbname> CHARACTER SET utf8;

Tôi chỉ tìm ra một phương pháp để tránh các lỗi trên.

Lưu vào cơ sở dữ liệu

user.first_name = u'Rytis'.encode('unicode_escape')
user.last_name = u'Slatkevičius'.encode('unicode_escape')
user.save()
>>> SUCCEED

print user.last_name
>>> Slatkevi\u010dius
print user.last_name.decode('unicode_escape')
>>> Slatkevičius

Đây có phải là phương pháp duy nhất để lưu các chuỗi như thế vào bảng MySQL và giải mã nó trước khi kết xuất thành các mẫu để hiển thị?

Bạn có thể thay đổi đối chiếu trường văn bản của mình thành UTF8_general_ci và vấn đề sẽ được giải quyết.

Lưu ý, điều này không thể được thực hiện trong Django.

Bạn không cố lưu chuỗi unicode, bạn đang cố lưu bytestrings trong mã hóa UTF-8. Làm cho chúng chuỗi ký tự unicode thực tế:

user.last_name = u'Slatkevičius'

hoặc (khi bạn không có chuỗi ký tự) giải mã chúng bằng mã hóa utf-8:

user.last_name = lastname.decode('utf-8')

Đơn giản chỉ cần thay đổi bảng của bạn, không cần bất kỳ điều gì. chỉ cần chạy truy vấn này trên cơ sở dữ liệu. THAY table_nameĐỔI BẢNG CHUYỂN ĐỔI ĐỂ TÙY CHỈNH utf8

Nó chắc chắn sẽ làm việc.

Cải thiện câu trả lời @madprops - giải pháp như một lệnh quản lý django:

import MySQLdb
from django.conf import settings

from django.core.management.base import BaseCommand


class Command(BaseCommand):

    def handle(self, *args, **options):
        host = settings.DATABASES['default']['HOST']
        password = settings.DATABASES['default']['PASSWORD']
        user = settings.DATABASES['default']['USER']
        dbname = settings.DATABASES['default']['NAME']

        db = MySQLdb.connect(host=host, user=user, passwd=password, db=dbname)
        cursor = db.cursor()

        cursor.execute("ALTER DATABASE `%s` CHARACTER SET 'utf8' COLLATE 'utf8_unicode_ci'" % dbname)

        sql = "SELECT DISTINCT(table_name) FROM information_schema.columns WHERE table_schema = '%s'" % dbname
        cursor.execute(sql)

        results = cursor.fetchall()
        for row in results:
            print(f'Changing table "{row[0]}"...')
            sql = "ALTER TABLE `%s` convert to character set DEFAULT COLLATE DEFAULT" % (row[0])
            cursor.execute(sql)
        db.close()

Hy vọng điều này sẽ giúp được ai ngoài tôi :)