Có nên loại bỏ mã hóa ký tự bên cạnh UTF-8 (và có thể UTF-16 / UTF-32) không?

Một tiểu thư thú cưng của tôi đang xem xét rất nhiều dự án phần mềm có hàng núi mã để hỗ trợ bộ ký tự. Đừng hiểu sai ý tôi, tôi hoàn toàn tương thích và tôi rất vui khi các trình soạn thảo văn bản cho phép bạn mở và lưu tệp trong nhiều bộ ký tự. Điều làm tôi khó chịu là làm thế nào để phổ biến các bảng mã ký tự không phổ quát được gắn nhãn là hỗ trợ Unicode phù hợp Unicode thay vì một vấn đề khó khăn.

Ví dụ: hãy để tôi chọn PostgreSQL và hỗ trợ bộ ký tự của nó . PostgreSQL giao dịch với hai loại mã hóa:

• Mã hóa máy khách: Được sử dụng trong giao tiếp giữa máy khách và máy chủ.
• Mã hóa máy chủ: Được sử dụng để lưu trữ văn bản nội bộ trong cơ sở dữ liệu.

Tôi có thể hiểu tại sao hỗ trợ rất nhiều mã hóa của khách hàng là một điều tốt. Nó cho phép các máy khách không hoạt động trong UTF-8 giao tiếp với PostgreSQL mà không cần phải thực hiện chuyển đổi. Những gì tôi không nhận được là: tại sao PostgreQuery hỗ trợ nhiều mã hóa máy chủ ? Các tệp cơ sở dữ liệu (hầu như luôn luôn) không tương thích từ một phiên bản PostgreSQL sang phiên bản tiếp theo, vì vậy khả năng tương thích phiên bản chéo không phải là vấn đề ở đây.

UTF-8 là bộ ký tự tương thích tiêu chuẩn, tương thích ASCII duy nhất có thể mã hóa tất cả các điểm mã Unicode (nếu tôi sai, hãy cho tôi biết). Tôi ở trong trại rằng UTF-8 là bộ ký tự tốt nhất , nhưng tôi sẵn sàng đưa ra các bộ ký tự phổ quát khác như UTF-16 và UTF-32.

Tôi tin rằng tất cả các bộ ký tự không phổ quát nên được phản đối. Có bất kỳ lý do thuyết phục họ không nên?

Vì bạn đã đề cập đến PostgreSQL, tôi có thể nói với một số người có thẩm quyền rằng lý do giết người chính tại sao các mã hóa phía máy chủ không phải UTF8 được hỗ trợ chi tiết như vậy là người Nhật cần nó. Rõ ràng, chuyển đổi khứ hồi giống hệt nhau giữa Unicode và các mã hóa "di sản" khác nhau của Nhật Bản không phải lúc nào cũng có thể, và trong một số trường hợp, các bảng chuyển đổi thậm chí khác nhau giữa các nhà cung cấp. Nó thực sự gây trở ngại, nhưng dường như là như vậy. (Hỗ trợ bộ ký tự rộng rãi cũng là một trong những lý do khiến PostgreSQL trở nên phổ biến ở Nhật Bản.)

Vì chúng ta đang nói về một hệ thống cơ sở dữ liệu, một trong những công việc chính là có thể lưu trữ và truy xuất dữ liệu một cách đáng tin cậy, như được xác định bởi người dùng, do đó, việc chuyển đổi bộ ký tự mất mát đôi khi sẽ không thực hiện được. Nếu bạn đang đối phó với các trình duyệt web, chẳng hạn, nơi mà tất cả những gì thực sự quan trọng là liệu kết quả trông OK, sau đó bạn có thể có thể nhận được ngay với hỗ trợ mã hóa ít hơn, nhưng trong một hệ thống cơ sở dữ liệu bạn có cần cài thêm.

Một số lý do khác được đề cập trong các câu trả lời khác cũng được áp dụng như các đối số hỗ trợ. Nhưng miễn là người Nhật phủ quyết nó, hỗ trợ thiết lập nhân vật không thể giảm.

Hai lý do rõ ràng: tùy thuộc vào dữ liệu bạn đang lưu trữ, chuyển đổi sang định dạng khác có thể mất khá nhiều thời gian và không gian thừa. Nếu bạn đang lưu trữ 400 megabyte thông tin, việc nhân đôi yêu cầu lưu trữ không phải là vấn đề lớn - nhưng nếu bạn đang lưu trữ 400 terabyte thì điều đó bắt đầu có nghĩa là nhiều hơn một chút. Việc chuyển đổi 400 terabyte dữ liệu từ (giả sử) Shift-JIS sang UTF-x cũng có thể mất một chút thời gian.

Điều này trở nên đặc biệt khó khăn nếu bạn có (ví dụ) đảm bảo thời gian hoạt động nói rằng cơ sở dữ liệu sẽ có sẵn cho tất cả, nhưng, giả sử, 10 phút trong bất kỳ năm nào và bạn có một cơ sở dữ liệu được cập nhật vài trăm lần một giây. Xin lưu ý bạn, vẫn có thể quản lý các chuyển đổi chính trong tình huống như vậy, nhưng đó không phải là việc được thực hiện nhẹ nhàng. Trong một số trường hợp, có thể dễ dàng mất nhiều năm lập kế hoạch để sẵn sàng cho việc chuyển đổi như vậy.

Nếu bạn đã bắt đầu với một cơ sở dữ liệu (ví dụ) chỉ hỗ trợ ASCII, có thể có lý do chính đáng để tranh luận liệu có hợp lý không khi thêm hỗ trợ cho tất cả các mã hóa đó - nhưng nếu bạn đã hỗ trợ chúng, sẽ có ít lợi ích từ việc bỏ đi hỗ trợ cho họ.

Đặc biệt lưu ý rằng bạn có thể không đạt được gì bên cạnh cách đơn giản hóa mã hoặc bất cứ thứ gì tương tự. Dù sao họ vẫn cần tất cả các thói quen chuyển đổi để xử lý các chuyển đổi giữa máy khách và máy chủ. Như vậy, bỏ hỗ trợ có nghĩa là bỏ một lệnh gọi hàm (nhỏ) trong đường dẫn "ghi vào đĩa" và "đọc từ đĩa", nhưng rất ít (nếu có gì khác). Nếu bạn đã hỗ trợ ngay cả hai mã hóa trên đĩa, bạn thậm chí sẽ không nhận được điều đó - bạn vẫn có chức năng gọi ở đó, vì vậy tất cả những gì bạn thực sự sẽ là hạn chế phạm vi mã hóa được hỗ trợ bởi chức năng đó.

Ít nhất nếu tôi đang thiết kế cái này, có lẽ tôi sẽ viết lõi của cơ sở dữ liệu để hoạt động trong UCS-4, và sau đó có các thói quen chuyển đổi giữa lõi và đĩa, và giữa lõi và người dùng. Tôi đã sử dụng cùng một tập các thói quen trong cả hai trường hợp, vì vậy cách đơn giản nhất là cho phép lưu trữ đĩa sử dụng chính xác cùng một bộ mã hóa khi khách hàng được phép sử dụng.

Có một số vấn đề khi chỉ lưu trữ UTF-8 trên máy chủ:

1. Giới hạn của một VARCHAR(20)cột là gì? Đó có phải là 20 byte, hay 20 "ký tự" (và trong Unicode, "ký tự" đó là gì khi bạn kết hợp các ký tự, chữ ghép và v.v.? Tồi tệ hơn, CHAR(20)nơi mà nó thực sự phải dự trữ toàn bộ không gian có thể: Tôi tin vào MySQL, nó dự trữ gấp 4 lần số byte cho cột được mã hóa UTF-8 (vì vậy 80 byte CHAR(20)) chỉ để xử lý trường hợp xấu nhất.
2. Bạn cần thực hiện chuyển đổi mã hóa liên tục giữa mã hóa máy chủ và mã hóa máy khách của bạn. Bạn có thể lập luận rằng bạn cũng muốn ngừng hỗ trợ nhiều mã hóa máy khách, nhưng trừ khi bạn làm điều đó, thì tất cả các chuỗi cần phải được chuyển đổi mọi lúc. Nếu bạn có thể kết hợp mã hóa máy chủ và mã hóa máy khách, thì không cần phải chuyển đổi.
3. Như những người khác đã chỉ ra, UTF-8 khá hiệu quả để lưu trữ văn bản tiếng Anh, nhưng nó rất kém hiệu quả đối với các ngôn ngữ khác - đặc biệt là các ngôn ngữ Đông Á. Bạn có thể cho phép sử dụng UTF-16 hoặc UTF-8 làm phù hợp, tôi cho rằng. Hoặc nén văn bản, nhưng điều đó làm cho việc lập chỉ mục và tìm kiếm không hiệu quả.

Như đã nói, tôi đồng ý với bạn: mã hóa di sản chủ yếu là vô nghĩa và Unicode thường là mã hóa tốt nhất để sử dụng cho tất cả các ứng dụng mới. Nếu tôi đã viết một máy chủ cơ sở dữ liệu từ đầu ngày hôm nay, tôi sẽ chỉ hỗ trợ Unicode và không hỗ trợ bất kỳ mã hóa kế thừa nào cả.

Sự khác biệt là PostgreSQL và hầu hết các máy chủ cơ sở dữ liệu khác đang sử dụng ngày nay đã xuất hiện trước khi Unicode là một lựa chọn khả thi. Vì vậy, họ đã có sự hỗ trợ cho các mã hóa di sản (tất nhiên lúc đó họ không có di sản) và không có nhiều điểm xé toạc tất cả các mã đó vì lý do chủ yếu là ý thức hệ.

Các bảng mã không phổ biến (và cụ thể là một byte) có vị trí của chúng: Trên các hệ thống:

• Không có đủ bộ nhớ để lưu trữ Cơ sở dữ liệu Ký tự Unicode.
• Có một phông chữ byte đơn được mã hóa cứng trong ROM.
• Không có quyền truy cập Internet để cung cấp một nguồn các tệp được mã hóa khác nhau.

Điều đó đúng cho ngày hôm nay đối với một số loại thiết bị nhúng. Nhưng trên máy tính để bàn và trong phòng máy chủ, các bảng mã phi Unicode sẽ bị lỗi thời từ lâu .

UTF-8 là tốt nhất cho bạn ¹ người nói tiếng Anh egrialric. Nếu bạn là người Nhật, khoảng 99% nhân vật của bạn sẽ mất 3-4 byte thay vì hai trong UTF-16.

Các phương ngữ phi Latin thực sự bị UTF-8 ở cấp độ kích thước. Đừng quên rằng trong một vài năm, hầu hết khách hàng của bạn có thể là người Trung Quốc và văn bản Trung Quốc có hàng triệu ký tự. Bạn không thể duy trì hiệu quả với UTF-8.

Mặt khác, tôi ghét nó khi tôi có tài liệu văn bản không có trong UTF- một cái gì đó . Tôi sẽ thường xuyên tránh đường nếu tôi cần phải có mã hóa phù hợp. Trong cuốn sách của tôi, mã hóa phi Unicode đã chết.

_{1. Đừng lấy phần cá nhân. Tôi muốn làm một minh họa đầy màu sắc và tôi không thực sự có ý đó.}

Unicode về cơ bản bị phá vỡ, và dường như chưa bao giờ được sửa chữa. Nó cần phải được thay thế bởi một cái gì đó tốt hơn, một cái gì đó thực sự phổ quát. Nếu bất cứ điều gì cần phản đối, đó là Unicode.

Các vấn đề ví dụ với Unicide:

• UTF8 là một hack hợp lý, nhưng hầu hết các phần mềm dựa trên UTF16 đã bị hỏng. Hầu hết các ứng dụng Windows hỗ trợ Unicode đều sử dụng UTF16, bao gồm cả hệ điều hành. Vấn đề phổ biến nhất là không hỗ trợ nhiều hơn mặt phẳng cơ bản, tức là các ký tự nhiều từ.

• Han thống nhất là một thảm họa chưa được thừa nhận. Không thể trộn văn bản Nhật / Trung / Hàn trong một tài liệu mà không có siêu dữ liệu bổ sung và rất khó phát hiện nên sử dụng phông chữ nào.

• Nhân vật kết hợp là một thảm họa khác. Các lược đồ mã hóa hợp lý hơn ánh xạ một ký tự thành một mã, điều này làm cho các chuỗi xử lý tương đối lành mạnh. Unicode thì không. Unicode thậm chí không nhất quán - Các ký tự Hán chủ yếu là các kết hợp, nhưng không được mã hóa như vậy, trong đó các ký tự kết hợp châu Âu là.

• Tên của một số người không thể được viết chính xác bằng Unicode hoặc rất dễ bị hiển thị không chính xác do các vấn đề được đề cập ở trên. Điều này có thể gây ra hậu quả nghiêm trọng, ví dụ như khi cố gắng lên máy bay bằng hộ chiếu không khớp với những gì (không chính xác) được in trên vé.

Do những vấn đề này và hơn thế nữa, rất nhiều phần mềm không phải tiếng Anh không thể sử dụng Unicode và dựa vào mã hóa ký tự cục bộ. Điều này đặc biệt phổ biến với phần mềm của Nhật Bản và Trung Quốc.

Lý tưởng nhất, Unicode nên được phản đối. Mã hóa ký tự TRON là một sự thay thế khá tốt cho Unicode và phần lớn tương thích với các phần mềm hiện có sẽ không được cập nhật.

Có thể để viết, nhưng không phải để đọc.

Có rất nhiều nội dung hiện có sử dụng các bảng mã đó và một số mã hóa như base64 không đi đến đâu vì một số giao thức văn bản bắt buộc chúng là những cách để nhúng dữ liệu nhị phân.

Một vấn đề thực sự là tự động phát hiện các bảng mã dẫn đến lỗ hổng bảo mật. Tôi sẽ không thấy một số mã hóa tối nghĩa như UTF-7 biến mất.

Tự động phát hiện cũng có xu hướng xử lý tồi với nội dung được tạo ra bởi các chuỗi byte được ghép nối một cách ngây thơ.

Tôi có thể đồng ý rằng mã hóa ký tự mặc định cho cơ sở dữ liệu và các ứng dụng mới phải là một loại biến thể UTF. Cá nhân tôi sẽ chọn UTF-16 vì đây có vẻ là một sự đánh đổi hợp lý về không gian và độ phức tạp (hơn cả UTF-8). Điều đó nói rằng, một số mã hóa nhân vật vẫn có ý nghĩa trong một số trường hợp nhất định.

• Nếu bạn đang lưu trữ / chuyển văn bản base64, bạn chỉ cần ASCII và thậm chí bạn có thể thoát khỏi các giao thức được mã hóa 7 bit như email. Chi phí hoạt động thêm của UTF-8 là không cần thiết.
• Một số tệp và dữ liệu hiện có được xây dựng trên các bảng mã ký tự cũ này, việc có thể đọc chúng là rất quan trọng.

Xin lưu ý rằng có 4 thuật toán chuẩn hóa UTF tiêu chuẩn. Nếu bạn lo ngại về các ký tự đa mã, bạn có thể sử dụng một trong hai thuật toán chuẩn hóa để thu gọn chúng thành ký tự đơn mã tương đương. Sự khác biệt giữa chúng có liên quan đến sự tương đương logic so với tương đương vật lý của các ký tự.