Triển khai Trie hiệu quả cho chuỗi unicode

Tôi đã tìm kiếm một triển khai String trie hiệu quả. Hầu như tôi đã tìm thấy mã như thế này:

Triển khai tham chiếu trong Java (mỗi wikipedia)

Tôi không thích những triển khai này vì hai lý do:

1. Họ chỉ hỗ trợ 256 ký tự ASCII. Tôi cần phải bao gồm những thứ như cyrillic.
2. Chúng cực kỳ kém hiệu quả.

Mỗi nút chứa một mảng gồm 256 tham chiếu, là 4096 byte trên máy 64 bit trong Java. Mỗi nút này có thể có tối đa 256 mã con với 4096 byte tham chiếu mỗi nút. Vì vậy, một Trie đầy đủ cho mỗi chuỗi ký tự ASCII 2 sẽ yêu cầu hơn 1MB. Ba chuỗi ký tự? 256MB chỉ cho các mảng trong các nút. Và như thế.

Tất nhiên tôi không có ý định có tất cả 16 triệu ba chuỗi ký tự trong Trie của mình, vì vậy rất nhiều không gian bị lãng phí. Hầu hết các mảng này chỉ là các tham chiếu null vì dung lượng của chúng vượt xa số lượng các phím được chèn thực tế. Và nếu tôi thêm unicode, các mảng thậm chí còn lớn hơn (char có 64k giá trị thay vì 256 trong Java).

Có bất kỳ hy vọng để làm cho một trie hiệu quả cho chuỗi? Tôi đã xem xét một vài cải tiến đối với các loại triển khai này:

• Thay vì sử dụng mảng tham chiếu, tôi có thể sử dụng một mảng kiểu nguyên nguyên, chỉ mục thành một mảng tham chiếu đến các nút có kích thước gần bằng số nút thực tế.
• Tôi có thể chia các chuỗi thành 4 phần bit cho phép các mảng nút có kích thước 16 với chi phí của một cây sâu hơn.

Bạn đang sử dụng bộ ba này để làm gì? Tổng số từ mà bạn dự định nắm giữ là bao nhiêu và độ thưa thớt của các ký tự cấu thành của chúng là bao nhiêu? Và quan trọng nhất, là một trie thậm chí thích hợp (so với một bản đồ đơn giản của tiền tố để liệt kê các từ)?

Ý tưởng của bạn về một bảng trung gian và thay thế các con trỏ bằng các chỉ mục sẽ hoạt động, miễn là bạn có một bộ từ ngắn tương đối nhỏ và một bộ ký tự thưa thớt. Nếu không, bạn có nguy cơ hết không gian trong bảng trung gian của bạn. Và trừ khi bạn đang xem một nhóm từ cực kỳ nhỏ, bạn sẽ không thực sự tiết kiệm được nhiều dung lượng đó: 2 byte cho một đoạn ngắn so với 4 byte cho một tham chiếu trên máy 32 bit. Nếu bạn đang chạy trên JVM 64 bit, mức tiết kiệm sẽ nhiều hơn.

Ý tưởng của bạn về việc chia các ký tự thành các khối 4 bit có thể sẽ không giúp bạn tiết kiệm nhiều, trừ khi tất cả các ký tự dự kiến ​​của bạn nằm trong một phạm vi cực kỳ hạn chế (có thể OK đối với các từ giới hạn ở chữ hoa US-ASCII, không có khả năng với một văn bản Unicode chung ).

Nếu bạn có một bộ ký tự thưa thớt, thì đó HashMap<Character,Map<...>>có thể là cách triển khai tốt nhất của bạn. Có, mỗi mục sẽ lớn hơn nhiều, nhưng nếu bạn không có nhiều mục, bạn sẽ có được một chiến thắng chung. (như một lưu ý phụ: Tôi luôn nghĩ thật buồn cười khi bài viết trên Wikipedia về Tries cho thấy - có thể vẫn vậy - một ví dụ dựa trên cấu trúc dữ liệu băm, hoàn toàn bỏ qua sự đánh đổi không gian / thời gian của lựa chọn đó)

Cuối cùng, bạn có thể muốn tránh một trie hoàn toàn. Nếu bạn đang xem một tập hợp các từ thông thường bằng ngôn ngữ của con người (10.000 từ được sử dụng tích cực, với các từ dài 4-8 ký tự), có lẽ bạn sẽ NHIỀU tốt hơn với một HashMap<String,List<String>, trong đó khóa là toàn bộ tiền tố.

nếu bạn mã hóa chuỗi thành UTF8, bạn có thể sử dụng bộ ba nhánh 256 tiêu chuẩn và vẫn tương thích unicode

ngoài ra, bạn nên lưu ý rằng chỉ có 70 hoặc hơn các ký tự trong số 128 ký tự ascii có thể (tất cả được mã hóa thành 1 byte trong UTF8) sẽ được tìm thấy nhiều nhất mà bạn có thể tối ưu hóa cho điều đó (như bao gồm các ký tự phổ biến thay cho các ký tự điều khiển không được sử dụng )