UTF-8 có thể hỗ trợ việc đưa vào một ngôn ngữ ngoài hành tinh rộng lớn với hàng triệu nhân vật mới không?

Trong trường hợp có một cuộc xâm lược của người ngoài hành tinh xảy ra và chúng tôi buộc phải hỗ trợ ngôn ngữ của họ trong tất cả các hệ thống máy tính hiện tại của chúng tôi, UTF-8 có được thiết kế theo cách cho phép số lượng ký tự khổng lồ của họ không?

(Tất nhiên, chúng tôi không biết người ngoài hành tinh có thực sự có ngôn ngữ hay không, nếu hoặc cách họ giao tiếp, nhưng vì lý do tranh luận, vui lòng chỉ tưởng tượng họ làm như vậy.)

Chẳng hạn, nếu ngôn ngữ của họ bao gồm hàng triệu glyphs mới, ký hiệu và / hoặc ký tự kết hợp , về mặt lý thuyết, UTF-8 có thể được mở rộng theo cách không phá vỡ để bao gồm các glyph mới này và vẫn hỗ trợ tất cả các phần mềm hiện có không?

Tôi quan tâm nhiều hơn nếu glyphs vượt xa các giới hạn kích thước hiện tại và yêu cầu nhiều byte hơn để thể hiện một glyph duy nhất. Trong trường hợp không thể mở rộng UTF-8 , điều đó có chứng minh rằng lợi thế duy nhất so với UTF-32 chỉ đơn giản là kích thước của các ký tự thấp hơn không?

Tiêu chuẩn Unicode có nhiều không gian để dự phòng. Các bảng mã Unicode được tổ chức trong các mặt phẳng của máy tính và các khối của Google. Trong tổng số 17 máy bay, có 11 chiếc hiện chưa được chỉ định . Mỗi mặt phẳng chứa 65.536 ký tự, do đó, thực tế có nửa triệu điểm mã để dành cho một ngôn ngữ ngoài hành tinh (trừ khi chúng ta điền vào tất cả các biểu tượng đó bằng nhiều biểu tượng cảm xúc hơn trước khi tiếp xúc lần đầu). Kể từ Unicode 8.0, chỉ có 120.737 điểm mã đã được chỉ định trong tổng số (khoảng 10% tổng công suất), với cùng một lượng không được gán nhưng dành riêng cho sử dụng riêng, dành riêng cho ứng dụng. Tổng cộng, 974.530 điểm mã không được chỉ định.

UTF-8 là một mã hóa cụ thể của Unicode và hiện bị giới hạn ở bốn octet (byte) cho mỗi điểm mã, phù hợp với các giới hạn của UTF-16. Đặc biệt, UTF-16 chỉ hỗ trợ 17 máy bay. Trước đây, UTF-8 đã hỗ trợ 6 octet cho mỗi điểm mã và được thiết kế để hỗ trợ 32768 máy bay. Về nguyên tắc, giới hạn 4 byte này có thể được dỡ bỏ, nhưng điều đó sẽ phá vỡ cấu trúc tổ chức hiện tại của Unicode và sẽ yêu cầu UTF-16 bị loại bỏ - không thể xảy ra trong tương lai gần khi xem xét cách thức cố thủ trong các hệ điều hành và lập trình nhất định ngôn ngữ.

Lý do duy nhất UTF-16 vẫn được sử dụng phổ biến là vì nó là phần mở rộng cho mã hóa UCS-2 thiếu sót chỉ hỗ trợ một mặt phẳng Unicode duy nhất. Mặt khác, nó thừa hưởng các thuộc tính không mong muốn từ cả UTF-8 (không phải chiều rộng cố định) và UTF-32 (không tương thích ASCII, lãng phí không gian cho dữ liệu chung) và yêu cầu các dấu thứ tự byte để khai báo độ bền. Cho rằng mặc dù những vấn đề này UTF-16 vẫn còn phổ biến, tôi không quá lạc quan rằng điều này sẽ sớm thay đổi. Hy vọng rằng, các Lãnh chúa ngoài hành tinh mới của chúng ta sẽ thấy sự cản trở này đối với sự cai trị của họ và trong trí tuệ của họ đã trục xuất UTF-16 khỏi bề mặt trái đất .

Nếu UTF-8 thực sự được mở rộng, chúng ta nên xem mức tối đa tuyệt đối mà nó có thể đại diện. UTF-8 có cấu trúc như thế này:

Char. number range  |        UTF-8 octet sequence
   (hexadecimal)    |              (binary)
--------------------+---------------------------------------------
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

(được sao chép một cách không biết xấu hổ từ RFC .) Chúng ta thấy rằng byte đầu tiên luôn kiểm soát số lượng byte theo dõi tạo nên ký tự hiện tại.

Nếu chúng tôi mở rộng nó để cho phép tối đa 8 byte, chúng tôi sẽ nhận được các biểu diễn phi Unicode bổ sung

111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
11111110 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
11111111 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

Tính toán các biểu diễn tối đa có thể có mà kỹ thuật này cho phép chúng tôi tìm đến

  10000000₂
+ 00100000₂ * 01000000₂
+ 00010000₂ * 01000000₂^2
+ 00001000₂ * 01000000₂^3
+ 00000100₂ * 01000000₂^4
+ 00000010₂ * 01000000₂^5
+ 00000001₂ * 01000000₂^6
+ 00000001₂ * 01000000₂^7

hoặc trong cơ sở 10:

  128
+  32 * 64
+  16 * 64^2
+   8 * 64^3
+   4 * 64^4
+   2 * 64^5
+   1 * 64^6
+   1 * 64^7

cung cấp cho chúng tôi số lượng đại diện tối đa là 4.468.982.745.216.

Vì vậy, nếu 4 tỷ ( hoặc nghìn tỷ, như bạn muốn ), đủ để thể hiện các ngôn ngữ ngoài hành tinh, tôi khá tích cực rằng chúng ta có thể, với nỗ lực tối thiểu, mở rộng UTF-8 hiện tại để làm hài lòng các lớp phủ ngoài hành tinh mới của chúng tôi ;-)

RFC3629 hạn chế UTF-8 tối đa bốn byte cho mỗi ký tự, với giá trị tối đa là 0x10FFFF, cho phép tối đa 1.112.064 điểm mã. Rõ ràng hạn chế này có thể được gỡ bỏ và tiêu chuẩn được mở rộng, nhưng điều này sẽ chứng minh một sự thay đổi đột phá cho mã hiện có hoạt động đến giới hạn đó.

Từ quan điểm tệp dữ liệu, đây sẽ không phải là một thay đổi đột phá vì tiêu chuẩn hoạt động trên cơ sở rằng nếu bit quan trọng nhất (MSB) của mỗi byte được đặt, thì byte tiếp theo là một phần của mã hóa. Ngay cả trước RFC3629, tiêu chuẩn đã bị giới hạn ở 31 bit, khiến MSB của byte thứ tư không được đặt.

Việc mở rộng tiêu chuẩn vượt quá 0x10FFFF sẽ phá vỡ khả năng tương thích dữ liệu một phần của UTF-8 với UTF-16.

Thực sự, chỉ có 2 mã điểm Unicode là vô số glyphs, nếu chúng được kết hợp các ký tự.

Ví dụ, so sánh hai cách mà Unicode mã hóa cho bảng chữ cái Hangul của Hàn Quốc: Hangul Syllables và Hangul Jamo . Ký tự 웃 in Hangul Syllabelslà điểm mã đơn C6C3trong khi trong Hangul Jamođó là ba điểm mã 110B(ㅇ) 116E(ㅜ) 11B9(ㅅ). Rõ ràng, việc sử dụng kết hợp các ký tự chiếm ít điểm mã hơn, nhưng sẽ kém hiệu quả hơn khi viết vì cần nhiều byte hơn để viết mỗi ký tự.

Với thủ thuật này, không cần phải vượt quá số điểm mã hiện có thể được mã hóa trong UTF-8 hoặc UTF-16.

Tôi đoán nó liên quan đến việc người ngoài hành tinh bị xúc phạm như thế nào nếu ngôn ngữ của họ xảy ra đòi hỏi nhiều byte hơn cho mỗi tin nhắn so với ngôn ngữ trần gian. Nếu họ không bận tâm, đại diện cho mỗi triệu nhân vật của họ bằng cách sử dụng một câu nói lộn xộn, 100k kết hợp các ký tự, thì không có vấn đề gì; mặt khác, nếu bị buộc phải sử dụng nhiều byte hơn người trái đất khiến họ cảm thấy như công dân hạng hai, chúng ta có thể gặp phải một số xung đột ( không giống như những gì chúng ta đã quan sát với UTF-8 ).

Chỉnh sửa: Câu hỏi bây giờ nói "hàng triệu nhân vật mới". Điều này giúp bạn dễ dàng trả lời:

Không . Utf-8 là một mã hóa Unicode. Unicode có một không gian mã cho phép 1.114.112 điểm mã riêng biệt và dưới một triệu hiện chưa được gán. Vì vậy, không thể hỗ trợ hàng triệu ký tự mới trong Unicode. Theo định nghĩa, không mã hóa Unicode có thể hỗ trợ nhiều ký tự hơn so với định nghĩa của Unicode. (Tất nhiên bạn có thể gian lận bằng cách mã hóa một cấp độ hơn nữa - bất kỳ loại dữ liệu nào cũng có thể được biểu thị chỉ bằng hai ký tự.)

Để trả lời câu hỏi ban đầu:

Unicode không hỗ trợ các ngôn ngữ như vậy, nó hỗ trợ các ký tự - ký hiệu được sử dụng để thể hiện ngôn ngữ ở dạng viết.

Không phải tất cả các ngôn ngữ của con người đều có một văn bản đại diện, vì vậy không phải tất cả các ngôn ngữ của con người đều có thể được hỗ trợ bởi Unicode. Hơn nữa, nhiều động vật giao tiếp nhưng không có ngôn ngữ viết. Ví dụ, cá voi có một hình thức giao tiếp đủ phức tạp để gọi một ngôn ngữ, nhưng không có bất kỳ hình thức bằng văn bản nào (và cũng không thể bị bắt bởi ký hiệu ngữ âm hiện tại). Vì vậy, thậm chí không phải tất cả các ngôn ngữ trên trái đất đều có thể được hỗ trợ bởi Unicode.

Thậm chí tệ hơn là một cái gì đó giống như ngôn ngữ của ong. Nó không chỉ không có dạng viết mà còn không thể được biểu diễn dưới dạng viết. Ngôn ngữ là một loại vũ đạo về cơ bản chỉ theo một hướng nhưng dựa vào vị trí hiện tại của mặt trời. Do đó, điệu nhảy chỉ có giá trị thông tin tại địa điểm và thời gian cụ thể được thực hiện. Một đại diện mang tính biểu tượng hoặc văn bản sẽ phải bao gồm thông tin (vị trí, vị trí của mặt trời) mà ngôn ngữ của loài ong hiện không thể diễn tả.

Ngay cả một hình thức giao tiếp bằng văn bản hoặc tượng trưng cũng có thể không thể biểu thị bằng Unicode. Ví dụ minh họa hoặc truyện tranh không lời có thể được hỗ trợ bởi Unicode vì tập hợp glyphs không hữu hạn. Bạn sẽ nhận thấy rất nhiều giao tiếp bằng hình ảnh trong môi trường quốc tế như sân bay, vì vậy không thể tưởng tượng được rằng một chủng tộc người ngoài hành tinh du hành vũ trụ sẽ phát triển để sử dụng ngôn ngữ hình ảnh.

Ngay cả khi một chủng tộc ngoài hành tinh có ngôn ngữ với hệ thống chữ viết với bộ ký hiệu hữu hạn, hệ thống này có thể không hỗ trợ bằng Unicode. Unicode mong muốn viết là một chuỗi ký hiệu tuyến tính. Ký hiệu âm nhạc là một ví dụ về một hệ thống chữ viết không thể được trình bày đầy đủ bằng Unicode, vì ý nghĩa được mã hóa trong cả hai lựa chọn ký hiệu và vị trí dọc và ngang. . Unicode không thể hỗ trợ điều này.

Nhưng cho phép tranh luận giả định rằng tất cả các ngôn ngữ, thậm chí cả ngôn ngữ ngoài hành tinh, có thể được biểu diễn dưới dạng một chuỗi ký hiệu tuyến tính được chọn từ một tập hợp hữu hạn. Unicode có đủ lớn cho một cuộc xâm lược của người ngoài hành tinh không? Unicode hiện có ít hơn một triệu điểm mã chưa được gán. Ngôn ngữ Trung Quốc chứa hàng trăm nghìn ký tự theo từ điển tiếng Trung toàn diện nhất (không phải tất cả chúng đều được Unicode hỗ trợ dưới dạng các ký tự riêng biệt). Vì vậy, chỉ có mười ngôn ngữ với sự phức tạp của tiếng Trung Quốc sẽ sử dụng hết Unicode. Trên trái đất chúng ta có hàng trăm hệ thống chữ viết riêng biệt, nhưng may mắn là hầu hết là theo thứ tự chữ cái hơn là ý thức hệ và do đó chứa một số lượng nhỏ ký tự. Nếu tất cả các ngôn ngữ viết được sử dụng các chữ tượng hình như tiếng Trung Quốc, Unicode thậm chí sẽ không đủ lớn cho trái đất. Việc sử dụng bảng chữ cái có nguồn gốc từ lời nói chỉ sử dụng một số lượng âm vị giới hạn, nhưng đó là đặc biệt cho sinh lý của con người. Vì vậy, ngay cả một hành tinh ngoài hành tinh duy nhất chỉ có một tá hệ thống chữ viết ý thức hệ có thể vượt quá những gì Unicode có thể hỗ trợ. Bây giờ hãy xem xét nếu người ngoài hành tinh này đã xâm chiếm các hành tinh khác trước trái đất và đưa hệ thống chữ viết của họ vào tập hợp các ký tự phải được hỗ trợ.

Việc mở rộng hoặc sửa đổi các bảng mã hiện tại hoặc giới thiệu các bảng mã mới sẽ không giải quyết được điều này, vì giới hạn nằm ở số lượng điểm mã được Unicode hỗ trợ.

Vì vậy, câu trả lời rất có thể là không.