UTF-8 suốt chặng đường

Tôi đang thiết lập một máy chủ mới và muốn hỗ trợ UTF-8 đầy đủ trong ứng dụng web của mình. Tôi đã thử điều này trong quá khứ trên các máy chủ hiện có và dường như cuối cùng phải quay lại ISO-8859-1.

Chính xác thì tôi cần đặt mã hóa / bảng mã ở đâu? Tôi biết rằng tôi cần phải định cấu hình Apache, MySQL và PHP để thực hiện việc này - có một số danh sách kiểm tra tiêu chuẩn nào tôi có thể theo dõi hoặc có thể khắc phục sự cố xảy ra sự không phù hợp?

Đây là một máy chủ Linux mới, chạy MySQL 5, PHP, 5 và Apache 2.

Lưu trữ dữ liệu :

• Chỉ định bộ utf8mb4ký tự trên tất cả các bảng và cột văn bản trong cơ sở dữ liệu của bạn. Điều này làm cho MySQL lưu trữ và truy xuất các giá trị được mã hóa nguyên bản trong UTF-8. Lưu ý rằng MySQL sẽ ngầm sử dụng utf8mb4mã hóa nếu utf8mb4_*đối chiếu được chỉ định (không có bất kỳ bộ ký tự rõ ràng nào).

• Trong các phiên bản cũ hơn của MySQL (<5.5.3), bạn sẽ không may bị buộc phải sử dụng một cách đơn giản utf8, chỉ hỗ trợ một tập hợp các ký tự Unicode. Tôi ước tôi đang đùa.

Truy cập dữ liệu :

• Trong mã ứng dụng của bạn (ví dụ PHP), trong bất kỳ phương thức truy cập DB nào bạn sử dụng, bạn sẽ cần đặt bộ ký tự kết nối thành utf8mb4. Theo cách này, MySQL không chuyển đổi từ UTF-8 gốc của nó khi nó chuyển dữ liệu sang ứng dụng của bạn và ngược lại.

• Một số trình điều khiển cung cấp cơ chế riêng để định cấu hình bộ ký tự kết nối, cả hai đều cập nhật trạng thái bên trong của chính nó và thông báo cho MySQL về mã hóa được sử dụng trên kết nối, đây thường là cách tiếp cận được ưa thích. Trong PHP:

  • Nếu bạn đang sử dụng lớp trừu tượng PDO với PHP ≥ 5.3.6, bạn có thể chỉ định charsettrong DSN :

    $dbh = new PDO('mysql:charset=utf8mb4');

  • Nếu bạn đang sử dụng mysqli , bạn có thể gọi set_charset():

    $mysqli->set_charset('utf8mb4');       // object oriented style
    mysqli_set_charset($link, 'utf8mb4');  // procedural style

  • Nếu bạn bị mắc kẹt với mysql đơn giản nhưng tình cờ đang chạy PHP ≥ 5.2.3, bạn có thể gọi mysql_set_charset.

• Nếu trình điều khiển không cung cấp cơ chế riêng để đặt bộ ký tự kết nối, bạn có thể phải đưa ra một truy vấn để cho MySQL biết ứng dụng của bạn mong muốn dữ liệu trên kết nối được mã hóa như thế nào : SET NAMES 'utf8mb4'.

• Việc xem xét tương tự liên quan đến utf8mb4/ utf8áp dụng như trên.

Đầu ra :

• Nếu ứng dụng của bạn truyền văn bản đến các hệ thống khác, chúng cũng sẽ cần được thông báo về mã hóa ký tự. Với các ứng dụng web, trình duyệt phải được thông báo về mã hóa trong đó dữ liệu được gửi (thông qua các tiêu đề phản hồi HTTP hoặc siêu dữ liệu HTML ).

• Trong PHP, bạn có thể sử dụng default_charsettùy chọn php.ini hoặc tự phát hành Content-Typetiêu đề MIME, đây chỉ là công việc nhiều hơn nhưng có tác dụng tương tự.

• Khi mã hóa đầu ra bằng cách sử dụng json_encode(), thêm JSON_UNESCAPED_UNICODEnhư một tham số thứ hai.

Đầu vào :

• Thật không may, bạn nên xác minh mọi chuỗi nhận được là UTF-8 hợp lệ trước khi bạn cố lưu trữ hoặc sử dụng nó ở bất cứ đâu. PHP mb_check_encoding()thực hiện mánh khóe, nhưng bạn phải sử dụng nó một cách tôn giáo. Thực sự không có cách nào khác, vì các khách hàng độc hại có thể gửi dữ liệu theo bất kỳ mã hóa nào họ muốn và tôi đã không tìm thấy một mẹo nào để PHP thực hiện điều này cho bạn một cách đáng tin cậy.

• Từ việc tôi đọc thông số HTML hiện tại , các viên đạn phụ sau đây không còn cần thiết hoặc thậm chí còn hợp lệ nữa đối với HTML hiện đại. Tôi hiểu rằng các trình duyệt sẽ làm việc với và gửi dữ liệu trong bộ ký tự được chỉ định cho tài liệu. Tuy nhiên, nếu bạn đang nhắm mục tiêu các phiên bản HTML cũ hơn (XHTML, HTML4, v.v.), những điểm này vẫn có thể hữu ích:

  • Chỉ dành cho HTML trước HTML5 : bạn muốn tất cả dữ liệu được gửi bởi các trình duyệt ở dạng UTF-8. Thật không may, nếu bạn đi theo cách duy nhất để làm điều này một cách đáng tin cậy thì hãy thêm accept-charsetthuộc tính vào tất cả các <form>thẻ của bạn : <form ... accept-charset="UTF-8">.
  • Chỉ dành cho HTML trước HTML5 : lưu ý rằng thông số HTML W3C nói rằng các máy khách "nên" mặc định gửi các biểu mẫu trở lại máy chủ trong bất kỳ bảng mã nào mà máy chủ phục vụ, nhưng đây rõ ràng chỉ là một khuyến nghị, do đó cần phải rõ ràng trên mọi đơn <form>nhãn.

Các cân nhắc về mã khác :

• Rõ ràng là đủ, tất cả các tệp bạn sẽ phục vụ (PHP, HTML, JavaScript, v.v.) phải được mã hóa theo UTF-8 hợp lệ.

• Bạn cần đảm bảo rằng mỗi khi bạn xử lý chuỗi UTF-8, bạn sẽ thực hiện một cách an toàn. Thật không may, đây là phần khó khăn. Có lẽ bạn sẽ muốn sử dụng rộng rãi phần mở rộng của PHP mbstring.

• Các hoạt động chuỗi tích hợp của PHP không theo mặc định UTF-8 an toàn. Có một số điều bạn có thể thực hiện một cách an toàn với các hoạt động chuỗi PHP bình thường (như nối), nhưng đối với hầu hết mọi thứ bạn nên sử dụng mbstringhàm tương đương .

• Để biết những gì bạn đang làm (đọc: không làm hỏng nó), bạn thực sự cần biết UTF-8 và cách thức hoạt động ở mức thấp nhất có thể. Kiểm tra bất kỳ liên kết nào từ utf8.com để biết một số tài nguyên tốt để tìm hiểu mọi thứ bạn cần biết.

Tôi muốn thêm một điều vào câu trả lời tuyệt vời của chazomaticus :

Đừng quên thẻ META (như thế này hoặc phiên bản HTML4 hoặc XHTML của nó ):

<meta charset="utf-8">

Điều đó có vẻ tầm thường, nhưng IE7 đã cho tôi những vấn đề với điều đó trước đây.

Tôi đã làm mọi thứ đúng; cơ sở dữ liệu, kết nối cơ sở dữ liệu và tiêu đề HTTP Kiểu nội dung đều được đặt thành UTF-8 và nó hoạt động tốt trong tất cả các trình duyệt khác, nhưng Internet Explorer vẫn khăng khăng sử dụng mã hóa "Tây Âu".

Hóa ra trang bị thiếu thẻ META. Thêm vào đó giải quyết vấn đề.

Biên tập:

W3C thực sự có một phần khá lớn dành riêng cho I18N . Họ có một số bài viết liên quan đến vấn đề này - mô tả khía cạnh HTTP, (X) HTML và CSS:

• Câu hỏi thường gặp: Thay đổi (X) mã hóa trang HTML thành UTF-8
• Khai báo mã hóa ký tự trong HTML
• Hướng dẫn: Bộ ký tự & mã hóa trong XHTML, HTML và CSS
• Đặt tham số bộ ký tự HTTP

Họ khuyên bạn nên sử dụng cả tiêu đề HTTP và thẻ meta HTML (hoặc khai báo XML trong trường hợp XHTML được phân phát dưới dạng XML).

Ngoài cài đặt default_charsettrong php.ini, bạn có thể gửi bộ ký tự chính xác bằng cách sử dụng header()từ bên trong mã của mình, trước bất kỳ đầu ra nào:

header('Content-Type: text/html; charset=utf-8');

Làm việc với Unicode trong PHP thật dễ dàng miễn là bạn nhận ra rằng hầu hết các hàm chuỗi không hoạt động với Unicode và một số có thể xâu chuỗi hoàn toàn . PHP coi "ký tự" dài 1 byte. Đôi khi điều này là ổn (ví dụ, explode()chỉ tìm kiếm một chuỗi byte và sử dụng nó như một dấu phân cách - vì vậy nó không quan trọng bạn tìm những ký tự thực tế nào). Nhưng những lần khác, khi hàm thực sự được thiết kế để hoạt động trên các ký tự , PHP không biết rằng văn bản của bạn có các ký tự nhiều byte được tìm thấy bằng Unicode.

Một thư viện tốt để kiểm tra là phputf8 . Điều này viết lại tất cả các hàm "xấu" để bạn có thể làm việc an toàn trên các chuỗi UTF8. Có những phần mở rộng như phần mở rộng mbopes cũng cố gắng làm điều này cho bạn, nhưng tôi thích sử dụng thư viện hơn vì nó dễ mang theo hơn (nhưng tôi viết các sản phẩm đại chúng, vì vậy điều đó rất quan trọng đối với tôi). Nhưng dù sao, phputf8 có thể sử dụng mbopes phía sau hậu trường để tăng hiệu suất.

Tôi đã tìm thấy một vấn đề với ai đó sử dụng PDO và câu trả lời là sử dụng điều này cho chuỗi kết nối PDO:

$pdo = new PDO(
    'mysql:host=mysql.example.com;dbname=example_db',
    "username",
    "password",
    array(PDO::MYSQL_ATTR_INIT_COMMAND => "SET NAMES utf8"));

Trang web tôi lấy cái này bị sập, nhưng tôi đã có thể lấy nó bằng bộ đệm Google, may mắn thay.

Trong trường hợp của tôi, tôi đã sử dụng mb_split, trong đó sử dụng regex. Do đó, tôi cũng phải tự đảm bảo mã hóa regex là utf-8 bằng cách thực hiệnmb_regex_encoding('UTF-8');

Một ghi chú bên lề, tôi cũng phát hiện ra bằng cách chạy mb_internal_encoding()rằng mã hóa nội bộ không phải là utf-8 và tôi đã thay đổi điều đó bằng cách chạy mb_internal_encoding("UTF-8");.

Trước hết nếu bạn ở trong <5.3PHP thì không. Bạn đã có rất nhiều vấn đề cần giải quyết.

Tôi ngạc nhiên rằng không ai đã đề cập đến thư viện intl , thư viện hỗ trợ tốt cho unicode , đồ thị , hoạt động chuỗi , bản địa hóa và nhiều hơn nữa, xem bên dưới.

Tôi sẽ trích dẫn một số thông tin về hỗ trợ unicode trong PHP bởi các slide của Elizabeth Smith tại PHPBenelux'14

INTL

Tốt

• Wrapper quanh thư viện ICU
• Địa phương được chuẩn hóa, đặt ngôn ngữ cho mỗi tập lệnh
• Định dạng số
• Định dạng tiền tệ
• Định dạng tin nhắn (thay thế gettext)
• Lịch, ngày, múi giờ và thời gian
• Phiên âm
• Người giả mạo
• Gói tài nguyên
• Bộ chuyển đổi
• Hỗ trợ IDN
• Đồ thị
• Đối chiếu
• Lặp đi lặp lại

Xấu:

• Không hỗ trợ zend_multibite
• Không hỗ trợ chuyển đổi đầu ra đầu vào HTTP
• Không hỗ trợ quá tải chức năng

mb_ chuỗi

• Cho phép hỗ trợ zend_multibyte
• Hỗ trợ mã hóa HTTP vào / ra trong suốt
• Cung cấp một số hàm bao cho funtionallity, chẳng hạn như strtoupper

ICONV

• Chính cho chuyển đổi bộ ký tự
• Xử lý bộ đệm đầu ra
• chức năng mã hóa mime
• chuyển đổi
• một số trình trợ giúp chuỗi (len, đế, strpose, strrpose)
• Bộ lọc luồng stream_filter_append($fp, 'convert.iconv.ISO-2022-JP/EUC-JP')

Cơ sở dữ liệu

• mysql: Bộ ký tự và đối chiếu trên các bảng và trên kết nối (không phải đối chiếu). Đồng thời không sử dụng mysql - msqli hoặc PDO
• postgresql: pg_set_client_encoding
• sqlite (3): Hãy chắc chắn rằng nó được biên dịch với sự hỗ trợ unicode và intl

Một số Gotchas khác

• Bạn không thể sử dụng tên tệp unicode với PHP và windows trừ khi bạn sử dụng phần mở rộng phần 3.
• Gửi mọi thứ trong ASCII nếu bạn đang sử dụng exec, Proc_open và các lệnh gọi dòng lệnh khác
• Văn bản thuần túy không phải là văn bản thuần túy, tập tin có mã hóa
• Bạn có thể chuyển đổi tập tin nhanh chóng với bộ lọc iconv

Tôi sẽ cập nhật câu trả lời này trong trường hợp mọi thứ thay đổi tính năng được thêm vào và cứ thế.

Điều duy nhất tôi muốn thêm vào những câu trả lời tuyệt vời này là nhấn mạnh vào việc lưu các tệp của bạn trong mã hóa utf8, tôi đã nhận thấy rằng các trình duyệt chấp nhận thuộc tính này qua việc đặt utf8 làm mã hóa mã của bạn. Bất kỳ trình soạn thảo văn bản tử tế nào cũng sẽ cho bạn thấy điều này, ví dụ Notepad ++ có tùy chọn menu để mã hóa tệp, nó hiển thị cho bạn mã hóa hiện tại và cho phép bạn thay đổi nó. Đối với tất cả các tệp php của tôi, tôi sử dụng utf8 mà không cần BOM.

Cách đây không lâu, tôi đã có người nhờ tôi thêm hỗ trợ utf8 cho ứng dụng php / mysql do người khác thiết kế, tôi nhận thấy rằng tất cả các tệp được mã hóa trong ANSI, vì vậy tôi phải sử dụng ICONV để chuyển đổi tất cả các tệp, thay đổi bảng cơ sở dữ liệu để sử dụng utf8 charset và utf8_general_ci collate, thêm 'SET NAMES utf8' vào lớp trừu tượng hóa cơ sở dữ liệu sau khi kết nối (nếu sử dụng 5.3.6 hoặc trước đó, bạn phải sử dụng charset = utf8 trong chuỗi kết nối) và thay đổi các hàm chuỗi để sử dụng đa chuỗi php chuỗi hàm tương đương.

Gần đây tôi phát hiện ra rằng việc sử dụng strtolower()có thể gây ra các vấn đề trong đó dữ liệu bị cắt sau một ký tự đặc biệt.

Giải pháp là sử dụng

mb_strtolower($string, 'UTF-8');

mb_ sử dụng MultiByte. Nó hỗ trợ nhiều nhân vật hơn nhưng nói chung là chậm hơn một chút.

Tôi vừa trải qua vấn đề tương tự và tìm thấy một giải pháp tốt trong hướng dẫn sử dụng PHP.

Tôi đã thay đổi tất cả mã hóa tệp thành UTF8 rồi mã hóa mặc định trên kết nối của mình. Điều này giải quyết tất cả các vấn đề.

if (!$mysqli->set_charset("utf8")) {
    printf("Error loading character set utf8: %s\n", $mysqli->error);
} else {
   printf("Current character set: %s\n", $mysqli->character_set_name());
}

Xem nguồn

Trong PHP, bạn sẽ cần sử dụng các hàm đa nhân hoặc bật mbopes.func_overload . Bằng cách đó, những thứ như strlen sẽ hoạt động nếu bạn có các ký tự chiếm nhiều hơn một byte.

Bạn cũng sẽ cần xác định bộ ký tự phản hồi của bạn. Bạn có thể sử dụng AddDefaultCharset, như trên hoặc viết mã PHP trả về tiêu đề. (Hoặc bạn có thể thêm thẻ META vào tài liệu HTML của mình.)

Hỗ trợ Unicode trong PHP vẫn còn là một mớ hỗn độn. Mặc dù nó có khả năng chuyển đổi một chuỗi ISO8859 (mà nó sử dụng bên trong) thành utf8, nhưng nó thiếu khả năng hoạt động với các chuỗi unicode nguyên bản, điều đó có nghĩa là tất cả các hàm xử lý chuỗi sẽ xáo trộn và làm hỏng chuỗi của bạn. Vì vậy, bạn phải sử dụng một thư viện riêng để hỗ trợ utf8 thích hợp hoặc tự viết lại tất cả các hàm xử lý chuỗi.

Phần dễ dàng chỉ là chỉ định bộ ký tự trong các tiêu đề HTTP và trong cơ sở dữ liệu, nhưng không có vấn đề gì nếu mã PHP của bạn không xuất ra UTF8 hợp lệ. Đó là phần khó và PHP hầu như không giúp bạn được gì. (Tôi nghĩ PHP6 có nhiệm vụ khắc phục điều tồi tệ nhất trong số này, nhưng vẫn còn một lúc nữa)

Nếu bạn muốn máy chủ MySQL quyết định bộ ký tự chứ không phải PHP với tư cách là máy khách (hành vi cũ; ưu tiên, theo ý kiến ​​của tôi), hãy thử thêm skip-character-set-client-handshakevào my.cnf, bên dưới [mysqld]và khởi động lại mysql.

Điều này có thể gây rắc rối trong trường hợp bạn đang sử dụng bất cứ thứ gì ngoài UTF8.

Câu trả lời hàng đầu là tuyệt vời. Đây là những gì tôi đã có trên một thiết lập debian / php / mysql thông thường:

// storage
// debian. apparently already utf-8

// retrieval
// the mysql database was stored in utf-8, 
// but apparently php was requesting iso. this worked: 
// ***notice "utf8", without dash, this is a mysql encoding***
mysql_set_charset('utf8');

// delivery
// php.ini did not have a default charset, 
// (it was commented out, shared host) and
// no http encoding was specified in the apache headers.
// this made apache send out a utf-8 header
// (and perhaps made php actually send out utf-8)
// ***notice "utf-8", with dash, this is a php encoding***
ini_set('default_charset','utf-8');

// submission
// this worked in all major browsers once apache
// was sending out the utf-8 header. i didnt add
// the accept-charset attribute.

// processing
// changed a few commands in php, like substr,
// to mb_substr

đó là tất cả !

nếu bạn muốn một giải pháp mysql, tôi đã gặp vấn đề tương tự với 2 dự án của mình, sau khi di chuyển máy chủ. Sau khi tìm kiếm và thử rất nhiều giải pháp, tôi đã tìm ra giải pháp này / không có gì trước khi giải pháp này hoạt động):

mysqli_set_charset($con,"utf8");

Sau khi thêm dòng này vào tập tin cấu hình của tôi, mọi thứ hoạt động tốt!

Tôi đã tìm thấy giải pháp này https://www.w3schools.com/PHP/func_mysqli_set_charset.asp khi tôi đang tìm cách giải quyết một chèn từ truy vấn html

chúc may mắn!

Chỉ cần một lưu ý:

Bạn đang phải đối mặt với vấn đề của nhân vật phi Latin của bạn được hiển thị như ?????????, bạn hỏi một câu hỏi, và nó đã khép lại với một tài liệu tham khảo cho câu hỏi kinh điển này, bạn đã cố gắng tất cả mọi thứ và không có vấn đề gì bạn làm, bạn vẫn nhận được ??????????từ MySQL.

Điều đó chủ yếu là do bạn đang kiểm tra dữ liệu cũ đã được chèn vào cơ sở dữ liệu bằng cách sử dụng bộ ký tự sai và được chuyển đổi và lưu trữ thành các ký tự dấu hỏi thực sự ?. Điều đó có nghĩa là bạn đã mất văn bản gốc của mình mãi mãi và bất kể bạn cố gắng gì, bạn sẽ nhận được ???????.

đang áp dụng những gì bạn đã học được từ các câu trả lời của câu hỏi này trên một dữ liệu mới có thể giải quyết vấn đề của bạn.

Tôi đã có vấn đề này khi hiển thị bảng. Tôi chỉ đặt điều này trên mỗi biến đầu ra echo:

<td><?php echo utf8_encode ($Local) ?></td>