Vấn đề gì khiến mọi người sử dụng mã hóa cụ thể của Nhật Bản hơn là Unicode?

Tại nơi làm việc, tôi bắt gặp rất nhiều tệp văn bản tiếng Nhật trong Shift-JIS và các bảng mã khác. Nó gây ra nhiều vấn đề về mojibake (nhân vật không thể đọc được) cho tất cả người dùng máy tính. Unicode được dự định để giải quyết loại vấn đề này bằng cách xác định một bộ ký tự duy nhất cho tất cả các ngôn ngữ và việc xê-ri hóa UTF-8 được khuyến nghị sử dụng trên Internet. Vậy tại sao mọi người không chuyển từ mã hóa cụ thể của Nhật Bản sang UTF-8? Những vấn đề với hoặc bất lợi của UTF-8 đang kìm hãm mọi người?

EDIT: W3C liệt kê một số vấn đề đã biết với Unicode , đây có thể là một lý do không?

Trong một từ: di sản.

Shift-JIS và các bảng mã khác đã được sử dụng trước khi Unicode trở nên khả dụng / phổ biến, vì đó là cách duy nhất để mã hóa tiếng Nhật. Các công ty đã đầu tư vào cơ sở hạ tầng chỉ hỗ trợ Shift-JIS. Ngay cả khi cơ sở hạ tầng đó hiện hỗ trợ Unicode, chúng vẫn bị kẹt với Shift-JIS vì nhiều lý do khác nhau, từ nó hoạt động-vì vậy đừng chạm vào nó qua mã hóa-gì? để di chuyển-tất cả các tài liệu hiện có-quá-tốn kém .

Có nhiều công ty phương Tây vẫn đang sử dụng ASCII hoặc latin-1 vì những lý do tương tự, chỉ có ai thông báo vì nó không bao giờ gây ra vấn đề.

Đây là những lý do mà tôi nhớ được đưa ra vì không tạo UTF-8 hoặc một đại diện Unicode khác làm mã hóa ký tự mặc định cho ngôn ngữ kịch bản lệnh Ruby, được phát triển chủ yếu ở Nhật Bản:

• Lý do 1: Hán thống nhất . Các bộ ký tự (không chắc chắn nếu "bảng chữ cái" sẽ chính xác ở đây) được sử dụng ở Trung Quốc, Hàn Quốc và Nhật Bản đều có liên quan, đã phát triển từ lịch sử chung, không chắc chắn về các chi tiết. Liên minh Unicode đã quyết định chỉ lãng phí một điểm mã Unicode duy nhất để mã hóa tất cả các biến thể (tiếng Trung, tiếng Nhật và tiếng Hàn) của cùng một ký tự lịch sử, ngay cả khi ngoại hình của chúng khác nhau ở cả 3 ngôn ngữ. Lý do của họ là, ngoại hình nên được xác định bởi phông chữ được sử dụng để hiển thị văn bản.

Rõ ràng, lý do này được người dùng Nhật Bản coi là vô lý như nó sẽ gây tranh cãi với độc giả tiếng Anh rằng, vì bảng chữ cái Latinh đã phát triển từ bảng chữ cái Hy Lạp, chỉ cần có một điểm mã duy nhất cho tiếng Hy Lạp alpha " α "và Latin" a "và để cho sự xuất hiện được quyết định bởi phông chữ được sử dụng. (Tương tự cho "" = "b", "" = "g", v.v.)

(Lưu ý rằng tôi sẽ không thể đưa các ký tự Hy Lạp vào đây trên stackexchange nếu đó là trường hợp.)

• Lý do 2: Chuyển đổi nhân vật không hiệu quả. Việc chuyển đổi các ký tự từ Unicode sang mã hóa và ngược lại của Nhật Bản yêu cầu các bảng, nghĩa là không có phép tính đơn giản nào từ giá trị điểm mã Unicode sang giá trị điểm mã kế thừa và ngược lại. Ngoài ra, có một số mất thông tin khi chuyển đổi vì không phải tất cả các điểm mã trong một mã hóa đều có một đại diện duy nhất trong mã hóa khác.

Nhiều lý do có thể đã được đưa ra mà tôi không nhớ nữa.

Câu trả lời của deceze có yếu tố sự thật rất mạnh đối với nó, nhưng có một lý do khác khiến Shift-JIS và các ngôn ngữ khác vẫn được sử dụng: UTF-8 không hiệu quả khủng khiếp đối với một số ngôn ngữ, chủ yếu là trong bộ CJK. Shift-JIS là, IIRC, mã hóa rộng hai byte trong khi UTF-8 thường là 3 byte và đôi khi là 4 byte trong các mã hóa của nó với CJK và các loại khác.

Đếm kích thước chuỗi / sử dụng bộ nhớ trong số các lý do chính.

Trong UTF-8, các ngôn ngữ Đông Á thường cần 3 byte trở lên cho các ký tự của chúng. Trung bình họ cần bộ nhớ nhiều hơn 50% so với khi sử dụng UTF-16 - thứ hai đã kém hiệu quả hơn so với mã hóa tự nhiên.

Lý do chính khác sẽ là di sản, như được chỉ ra bằng cách lừa dối.

Di sản và kích thước lưu trữ, như những người khác nói, nhưng có một điều nữa: nhân vật Katakana.

Chỉ mất một byte để thể hiện các ký tự Katakana trong Shift-JIS, do đó, văn bản tiếng Nhật bao gồm Katakana chỉ mất ít hơn 2 byte cho mỗi ký tự (1,5 cho hỗn hợp 50/50), giúp Shift-JIS hiệu quả hơn một chút so với UTF-16 (2 byte / char) và hiệu quả hơn nhiều so với UTF-8 (3 byte / char).

Lưu trữ giá rẻ nên đã làm cho vấn đề này nhỏ hơn nhiều, nhưng dường như không.