Cách lưu trữ Ký tự Emoji trong Cơ sở dữ liệu MySQL

Tôi đang sử dụng nhân vật Emoji trong dự án của mình. Các ký tự đó được lưu (??) vào cơ sở dữ liệu mysql. Tôi đã sử dụng cơ sở dữ liệu Đối chiếu mặc định trong utf8mb4_general_ci. Nó cho thấy

1366 Giá trị chuỗi không chính xác: '\ xF0 \ x9F \ x98 \ x83 \ xF0 \ x9F ...' cho cột 'nhận xét' ở hàng 1

Bước 1, thay đổi bộ ký tự mặc định của cơ sở dữ liệu của bạn:

ALTER DATABASE database_name CHARACTER SET = utf8mb4 COLLATE = utf8mb4_unicode_ci;

Bước 2, đặt bộ ký tự khi tạo bảng:

CREATE TABLE IF NOT EXISTS table_name (
...
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE utf8mb4_general_ci;

hoặc thay đổi bảng

ALTER TABLE table_name CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
ALTER TABLE table_name modify name text charset utf8mb4;

1) Cơ sở dữ liệu: Thay đổi đối chiếu cơ sở dữ liệu mặc định là utf8mb4.

2) Bảng: Thay đổi đối chiếu bảng như CHARACTER SET utf8mb4 COLLATE utf8mb4_bin.

Truy vấn:

ALTER TABLE Tablename CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_bin

3) Mã:

INSERT INTO tablename (column1, column2, column3, column4, column5, column6, column7)
VALUES ('273', '3', 'Hdhdhdh😜😀😊😃hzhzhzzhjzj 我爱你 ❌', 49, 1, '2016-09-13 08:02:29', '2016-09-13 08:02:29')

4) Đặt utf8mb4trong kết nối cơ sở dữ liệu:

  $database_connection = new mysqli($server, $user, $password, $database_name); 
  $database_connection->set_charset('utf8mb4');

Cả cơ sở dữ liệu và bảng nên có bộ ký tự utf8mb4và đối chiếu utf8mb4_unicode_ci.

Khi tạo cơ sở dữ liệu mới, bạn nên sử dụng:

CREATE DATABASE mydb CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

Nếu bạn có một cơ sở dữ liệu hiện có và bạn muốn thêm hỗ trợ:

ALTER DATABASE database_name CHARACTER SET = utf8mb4 COLLATE = utf8mb4_unicode_ci;

Bạn cũng cần đặt bộ ký tự và đối chiếu chính xác cho các bảng của mình:

CREATE TABLE IF NOT EXISTS table_name (
    ...
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE utf8mb4_unicode_ci;

hoặc thay đổi nó nếu bạn có các bảng hiện có nhiều dữ liệu:

ALTER TABLE table_name CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

Lưu ý rằng utf8_general_cikhông còn được khuyến nghị thực hành tốt nhất. Xem phần hỏi đáp liên quan:

Sự khác biệt giữa utf8_general_ci và utf8_unicode_ci trên Stack Overflow.

Nếu bạn đang sử dụng Solr + Mysql + Java, bạn có thể sử dụng:

Điều này có thể được sử dụng:

• case1: Khi bạn không muốn thay đổi DB.
• case2: khi bạn phải nhập biểu tượng cảm xúc từ lõi Mysql của mình vào lõi Solr.

Trong trường hợp trên, đây là một trong những giải pháp lưu trữ biểu tượng cảm xúc trong hệ thống của bạn.

Các bước để sử dụng nó:

Thư viện được sử dụng: nhập java.net.URLDecoder; nhập java.net.URLEncoder;

1. Sử dụng urlEncoder để mã hóa Chuỗi của bạn có biểu tượng cảm xúc.
2. Lưu trữ nó trong DB mà không thay đổi MysqlDB.
3. Bạn có thể lưu trữ nó trong lõi solr (dạng được giải mã) nếu bạn muốn hoặc bạn có thể lưu trữ dạng được mã hóa.
4. Khi tìm nạp các biểu tượng cảm xúc này từ lõi DB hoặc Solr, giờ đây bạn có thể giải mã nó bằng urlDecoder.

Mã ví dụ:

import java.net.URLDecoder;
import java.net.URLEncoder;

public static void main(String[] args) {
    //SpringApplication.run(ParticipantApplication.class, args);
    System.out.println(encodeStringUrl("🇺🇸🇨🇳🇯🇵🇩🇪🔳🔺🆔🆔🆑3⃣5⃣3⃣‼〽➗➗🎦🔆🎦🔆♋♍♋♍⬅⬆⬅⬅🛂🚹🛂🛄🚳🚬💊🔧💊🗿     "));
    System.out.println(decodeStringUrl("Hello+emoticons%2C%2C%F0%9F%98%80%F0%9F%98%81%F0%9F%98%8A%F0%9F%98%8B%F0%9F%98%8E%F0%9F%98%8A%F0%9F%98%8D%E2%98%BA%F0%9F%98%98%E2%98%BA%F0%9F%98%91%F0%9F%98%87%F0%9F%98%98%F0%9F%98%8B%F0%9F%90%84"));
}

public static String encodeStringUrl(String url) {
    String encodedUrl =null;
    try {
         encodedUrl = URLEncoder.encode(url, "UTF-8");
    } catch (UnsupportedEncodingException e) {
        return encodedUrl;
    }
    return encodedUrl;
}

public static String decodeStringUrl(String encodedUrl) {
    String decodedUrl =null;
    try {
         decodedUrl = URLDecoder.decode(encodedUrl, "UTF-8");
    } catch (UnsupportedEncodingException e) {
        return decodedUrl;
    }
    return decodedUrl;
}

Tôi đã cập nhật cơ sở dữ liệu và bảng để nâng cấp từ utf8 lên utf8mb4 . Nhưng không có gì làm việc cho tôi. Sau đó, tôi đã cố cập nhật kiểu dữ liệu cột lên blob , may mắn là nó hoạt động với tôi và dữ liệu đã được lưu. Ngay cả cơ sở dữ liệu và bảng của tôi đều là CHARACTER SET utf8 COLLATE utf8_unicode

Lệnh sửa đổi cột là:

ALTER TABLE TABLE_NAME MODIFY COLUMN_NAME TYPE;

Và chúng ta cần sử dụng loại = BLOB

Ví dụ để sửa đổi như dưới đây: -

ALTER TABLE messages MODIFY content BLOB;

Tôi đã kiểm tra rằng myQuery mới nhất và các cơ sở dữ liệu khác không cần ''sử dụng lệnh trên tên_bảng, tên_bảng, v.v.

Tìm nạp và lưu dữ liệu: Lưu trực tiếp nội dung trò chuyện vào cột và để truy xuất dữ liệu, tìm nạp dữ liệu dưới dạng mảng byte (byte[])từ cột db và sau đó chuyển đổi thành stringví dụ (mã Java)

new String((byte[]) arr) 

Câu trả lời của tôi chỉ thêm vào câu trả lời của Selvamani P.

Bạn cũng có thể cần phải thay đổi bất kỳ SET NAMES utf8truy vấn nào SET NAMES utf8mb4. Điều đó đã đánh lừa tôi.

Ngoài ra, đây là một bài viết tuyệt vời để chuyển trang web của bạn từ utf8 sang utf8mb4. Cụ thể, bài viết làm cho 2 điểm tốt về chỉ mục và sửa chữa bảng sau khi chuyển đổi chúng thành utf8mb4:

CHỈ SỐ

Khi chuyển đổi từ utf8 sang utf8mb4, độ dài tối đa của cột hoặc khóa chỉ mục không thay đổi về mặt byte. Do đó, nó nhỏ hơn về các ký tự, bởi vì độ dài tối đa của một ký tự bây giờ là bốn byte thay vì ba. [...] Công cụ lưu trữ InnoDB có độ dài chỉ mục tối đa là 767 byte, do đó, đối với các cột utf8 hoặc utf8mb4, bạn có thể lập chỉ mục tối đa tương ứng 255 hoặc 191 ký tự. Nếu bạn hiện có các cột utf8 với các chỉ mục dài hơn 191 ký tự, bạn sẽ cần lập chỉ mục một số lượng ký tự nhỏ hơn khi sử dụng utf8mb4.

SỬA CHỮA BẢNG

Sau khi nâng cấp máy chủ MySQL và thực hiện các thay đổi cần thiết được giải thích ở trên, hãy đảm bảo sửa chữa và tối ưu hóa tất cả các cơ sở dữ liệu và bảng. Tôi đã không làm điều này ngay sau khi nâng cấp (tôi không nghĩ là cần thiết, vì thoạt nhìn mọi thứ đều hoạt động tốt) và gặp phải một số lỗi kỳ lạ trong đó các câu lệnh CẬP NHẬT không có tác dụng gì, mặc dù không lỗi đã được ném.

Đọc thêm về các truy vấn để sửa chữa các bảng trên bài viết.

Điểm chính chưa được đề cập trong các câu trả lời ở trên rằng,

Chúng ta cần truyền chuỗi truy vấn với các tùy chọn "useUnicode=yes"và "characterEncoding=UTF-8"trong chuỗi kết nối

Một cái gì đó như thế này

mysql://USERNAME:PASSWORD@HOSTNAME:PORT/DATABASE_NAME?useUnicode=yes&characterEncoding=UTF-8

Chà, bạn không cần phải thay đổi Toàn bộ Bộ ký tự DB. Thay vì điều đó bạn có thể làm điều đó bằng cách thay đổi cột thành loại blob .

ALTER TABLE tin nhắn MODIFY nội dung BLOB;

Tôi có một giải pháp tốt để tiết kiệm thời gian của bạn. Tôi cũng gặp vấn đề tương tự nhưng tôi không thể giải quyết vấn đề này bằng câu trả lời đầu tiên.

Nhân vật defualt của bạn là utf-8. Nhưng biểu tượng cảm xúc cần utf8mb4 để hỗ trợ nó. Nếu bạn có quyền sửa lại tệp cấu hình của mysql, bạn có thể làm theo bước này.

Do đó, hãy thực hiện bước sau để nâng cấp bộ ký tự của bạn (từ utf-8 lên utf8mb4).

Bước 1. mở my.cnf của bạn cho mysql, thêm các dòng sau vào my.cnf của bạn.

[mysqld]
character-set-server = utf8mb4
collation-server = utf8mb4_general_ci
init_connect='SET NAMES utf8mb4'

[mysql]
default-character-set = utf8mb4


[client]
default-character-set = utf8mb4

bước 2. dừng dịch vụ mysql của bạn và bắt đầu dịch vụ mysql

mysql.server stop
mysql.server start

Đã kết thúc! Sau đó, bạn có thể kiểm tra nhân vật của mình được thay đổi thành utf8mb4.

mysql> SHOW VARIABLES LIKE 'character_set%';
+--------------------------+----------------------------------------------------------+
| Variable_name            | Value                                                    |
+--------------------------+----------------------------------------------------------+
| character_set_client     | utf8mb4                                                  |
| character_set_connection | utf8mb4                                                  |
| character_set_database   | utf8mb4                                                  |
| character_set_filesystem | binary                                                   |
| character_set_results    | utf8mb4                                                  |
| character_set_server     | utf8mb4                                                  |
| character_set_system     | utf8                                                     |
| character_sets_dir       | /usr/local/Cellar/mysql@5.7/5.7.29/share/mysql/charsets/ |
+--------------------------+----------------------------------------------------------+
8 rows in set (0.00 sec)

Hỗ trợ biểu tượng cảm xúc cho ứng dụng có ngăn xếp công nghệ - mysql, java, springboot, ngủ đông

Áp dụng các thay đổi dưới đây trong mysql để được hỗ trợ unicode.

1. ALTER DATABASE <database-name> CHARACTER SET = utf8mb4 COLLATE = utf8mb4_unicode_ci;
2. ALTER TABLE <table-name> CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

Kết nối DB - thay đổi url jdbc:

jdbc:mysql://localhost:3306/<database-name>?useUnicode=yes&characterEncoding=UTF-8

Lưu ý - Nếu bước trên không hoạt động, vui lòng cập nhật phiên bản kết nối mysql lên 8.0.15. (mysql 5.7 hoạt động với phiên bản kết nối 8.0.15 để hỗ trợ unicode)

Giải pháp đơn giản nhất cho tôi là lưu trữ dữ liệu dưới dạng json_encode .

sau này khi bạn truy xuất chỉ cần đảm bảo rằng bạn json_decode nó.

Ở đây bạn không phải thay đổi đối chiếu hoặc bộ ký tự của cơ sở dữ liệu và bảng.

Đối với bất cứ ai cố gắng để giải quyết việc này trên một trường hợp MySQL quản lý (trong trường hợp của tôi trên AWS RDS), cách dễ nhất là để sửa đổi các nhóm thông số và thiết lập các bộ ký tự máy chủ và đối chiếu được utf8mb4và utf8mb4_bin, tương ứng. Sau khi khởi động lại máy chủ, một truy vấn nhanh sẽ xác minh cài đặt cho cơ sở dữ liệu hệ thống và mọi cài đặt mới được tạo:

SELECT * FROM information_schema.SCHEMATA S;