UnicodeEncodeError: codec 'latin-1' không thể mã hóa ký tự

Điều gì có thể gây ra lỗi này khi tôi cố gắng chèn một ký tự nước ngoài vào cơ sở dữ liệu?

>>UnicodeEncodeError: 'latin-1' codec can't encode character u'\u201c' in position 0: ordinal not in range(256)

Và tôi phải giải quyết nó như thế nào?

Cảm ơn!

Ký tự U + 201C Dấu ngoặc kép trái không có trong bảng mã Latinh-1 (ISO-8859-1).

Nó là hiện diện trong trang mã 1252 (Tây Âu). Đây là kiểu mã hóa dành riêng cho Windows dựa trên ISO-8859-1 nhưng đặt các ký tự phụ vào phạm vi 0x80-0x9F. Trang mã 1252 thường bị nhầm lẫn với ISO-8859-1 và đó là một hành vi trình duyệt web tiêu chuẩn nhưng khó chịu, đó là nếu bạn phân phối các trang của mình dưới dạng ISO-8859-1, trình duyệt sẽ coi chúng là cp1252. Tuy nhiên, chúng thực sự là hai bảng mã riêng biệt:

>>> u'He said \u201CHello\u201D'.encode('iso-8859-1')
UnicodeEncodeError
>>> u'He said \u201CHello\u201D'.encode('cp1252')
'He said \x93Hello\x94'

Nếu bạn chỉ đang sử dụng cơ sở dữ liệu của mình dưới dạng lưu trữ byte, bạn có thể sử dụng cp1252 để mã hóa “và các ký tự khác có trong trang mã Windows Western. Nhưng vẫn còn các ký tự Unicode khác không có trong cp1252 sẽ gây ra lỗi.

Bạn có thể sử dụng encode(..., 'ignore')để loại bỏ các lỗi bằng cách loại bỏ các ký tự, nhưng thực sự trong thế kỷ này, bạn nên sử dụng UTF-8 trong cả cơ sở dữ liệu và các trang của mình. Mã hóa này cho phép sử dụng bất kỳ ký tự nào. Lý tưởng nhất là bạn nên nói với MySQL rằng bạn đang sử dụng chuỗi UTF-8 (bằng cách thiết lập kết nối cơ sở dữ liệu và đối chiếu trên các cột chuỗi), vì vậy nó có thể có được sự so sánh và sắp xếp không phân biệt chữ hoa chữ thường.

Tôi đã gặp phải vấn đề tương tự này khi sử dụng mô-đun Python MySQLdb. Vì MySQL sẽ cho phép bạn lưu trữ bất kỳ dữ liệu nhị phân nào bạn muốn trong trường văn bản bất kể bộ ký tự, tôi đã tìm thấy giải pháp của mình ở đây:

Sử dụng UTF8 với Python MySQLdb

Chỉnh sửa: Trích dẫn từ URL trên để đáp ứng yêu cầu trong nhận xét đầu tiên ...

"UnicodeEncodeError: codec 'latin-1' không thể mã hóa ký tự ..."

Điều này là do MySQLdb thường cố gắng mã hóa everythin thành latin-1. Điều này có thể được khắc phục bằng cách thực hiện các lệnh sau ngay sau khi bạn đã thiết lập kết nối:

db.set_character_set('utf8')
dbc.execute('SET NAMES utf8;')
dbc.execute('SET CHARACTER SET utf8;')
dbc.execute('SET character_set_connection=utf8;')

"db" là kết quả của MySQLdb.connect(), và "dbc" là kết quả của db.cursor().

Giải pháp tốt nhất là

1. đặt bộ ký tự của mysql thành 'utf-8'

2. thích nhận xét này (thêm use_unicode=Truevà charset="utf8")

   db = MySQLdb.connect (host = "localhost", user = "root", passwd = "", db = "testdb", use_unicode = True, charset = "utf8") - KyungHoon Kim 13 '14 tháng 3 lúc 17:04

chi tiết xem:

class Connection(_mysql.connection):

    """MySQL Database Connection Object"""

    default_cursor = cursors.Cursor

    def __init__(self, *args, **kwargs):
        """

        Create a connection to the database. It is strongly recommended
        that you only use keyword parameters. Consult the MySQL C API
        documentation for more information.

        host
          string, host to connect

        user
          string, user to connect as

        passwd
          string, password to use

        db
          string, database to use

        port
          integer, TCP/IP port to connect to

        unix_socket
          string, location of unix_socket to use

        conv
          conversion dictionary, see MySQLdb.converters

        connect_timeout
          number of seconds to wait before the connection attempt
          fails.

        compress
          if set, compression is enabled

        named_pipe
          if set, a named pipe is used to connect (Windows only)

        init_command
          command which is run once the connection is created

        read_default_file
          file from which default client values are read

        read_default_group
          configuration group to use from the default file

        cursorclass
          class object, used to create cursors (keyword only)

        use_unicode
          If True, text-like columns are returned as unicode objects
          using the connection's character set.  Otherwise, text-like
          columns are returned as strings.  columns are returned as
          normal strings. Unicode objects will always be encoded to
          the connection's character set regardless of this setting.

        charset
          If supplied, the connection character set will be changed
          to this character set (MySQL-4.1 and newer). This implies
          use_unicode=True.

        sql_mode
          If supplied, the session SQL mode will be changed to this
          setting (MySQL-4.1 and newer). For more details and legal
          values, see the MySQL documentation.

        client_flag
          integer, flags to use or 0
          (see MySQL docs or constants/CLIENTS.py)

        ssl
          dictionary or mapping, contains SSL connection parameters;
          see the MySQL documentation for more details
          (mysql_ssl_set()).  If this is set, and the client does not
          support SSL, NotSupportedError will be raised.

        local_infile
          integer, non-zero enables LOAD LOCAL INFILE; zero disables

        autocommit
          If False (default), autocommit is disabled.
          If True, autocommit is enabled.
          If None, autocommit isn't set and server default is used.

        There are a number of undocumented, non-standard methods. See the
        documentation for the MySQL C API for some hints on what they do.

        """

Tôi hy vọng cơ sở dữ liệu của bạn ít nhất là UTF-8. Sau đó, bạn sẽ cần phải chạy yourstring.encode('utf-8')trước khi thử đưa nó vào cơ sở dữ liệu.

Bạn đang cố gắng lưu trữ mã điểm Unicode \u201cbằng cách sử dụng mã hóa ISO-8859-1 / Latin-1không thể mô tả điểm mã đó. Bạn có thể cần phải thay đổi cơ sở dữ liệu để sử dụng utf-8 và lưu trữ dữ liệu chuỗi bằng cách sử dụng mã hóa thích hợp hoặc bạn có thể muốn làm sạch đầu vào của mình trước khi lưu trữ nội dung; tức là sử dụng một cái gì đó giống như hướng dẫn i18n tuyệt vời của Sam Ruby . Nội dung đó nói về các vấn đề windows-1252có thể gây ra và đề xuất cách xử lý, cùng với các liên kết đến mã mẫu!

Người dùng SQLAlchemy chỉ cần chỉ định trường của họ là convert_unicode=True.

Thí dụ: sqlalchemy.String(1000, convert_unicode=True)

SQLAlchemy sẽ chỉ chấp nhận các đối tượng unicode và trả lại chúng, xử lý chính quá trình mã hóa.

Docs

Sử dụng đoạn mã dưới đây để chuyển đổi văn bản từ tiếng Latinh sang tiếng Anh

import unicodedata
def strip_accents(text):
    return "".join(char for char in
                   unicodedata.normalize('NFKD', text)
                   if unicodedata.category(char) != 'Mn')

strip_accents('áéíñóúü')

đầu ra:

'aeinouu'

Latin-1 (hay còn gọi là ISO 8859-1 ) là một lược đồ mã hóa ký tự octet duy nhất và bạn không thể khớp \u201c( “) vào một byte.

Ý của bạn là sử dụng mã hóa UTF-8?

Python: Bạn sẽ cần thêm # - * - mã hóa: UTF-8 - * - (xóa khoảng trắng xung quanh *) vào dòng đầu tiên của tệp python. và sau đó thêm phần sau vào văn bản để mã hóa: .encode ('ascii', 'xmlcharrefreplace') . Điều này sẽ thay thế tất cả các ký tự unicode bằng ASCII tương đương của nó.