Làm cách nào Chrome quyết định những gì cần làm nổi bật khi bạn nhấp đúp vào văn bản tiếng Nhật?

Nếu bạn bấm đúp vào văn bản tiếng Anh trong Chrome, từ được phân tách bằng khoảng trắng bạn đã nhấp sẽ được tô sáng. Điều này không đáng ngạc nhiên. Tuy nhiên, một ngày khác, tôi đã nhấp vào trong khi đọc một số văn bản bằng tiếng Nhật và nhận thấy rằng một số từ được tô sáng ở ranh giới từ, mặc dù tiếng Nhật không có khoảng trắng. Dưới đây là một số ví dụ văn bản:

ど こ こ こ

Ví dụ: nếu bạn nhấp vào 薄 暗, Chrome sẽ làm nổi bật chính xác nó thành một từ duy nhất, mặc dù đó không phải là một lớp ký tự đơn (đây là sự pha trộn của kanji và hiragana). Không phải tất cả các điểm nổi bật là chính xác, nhưng chúng không có vẻ ngẫu nhiên.

Chrome quyết định những gì cần làm nổi bật ở đây? Tôi đã thử tìm kiếm nguồn Chrome cho "từ tiếng Nhật" nhưng chỉ tìm thấy các thử nghiệm cho một mô-đun thử nghiệm dường như không hoạt động trong phiên bản Chrome của tôi.

Vì vậy, hóa ra v8 có một trình phân đoạn từ đa ngôn ngữ không chuẩn và nó xử lý tiếng Nhật.

function tokenizeJA(text) {
  var it = Intl.v8BreakIterator(['ja-JP'], {type:'word'})
  it.adoptText(text)
  var words = []

  var cur = 0, prev = 0

  while (cur < text.length) {
    prev = cur
    cur = it.next()
    words.push(text.substring(prev, cur))
  }

  return words
}

console.log(tokenizeJA('どこで生れたかとんと見当がつかぬ。何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。'))
// ["どこ", "で", "生れ", "たか", "とんと", "見当", "が", "つ", "か", "ぬ", "。", "何でも", "薄暗い", "じめじめ", "した", "所", "で", "ニャーニャー", "泣", "い", "て", "いた事", "だけ", "は", "記憶", "し", "て", "いる", "。"]

Tôi cũng đã thực hiện một jsfiddle cho thấy điều này.

Chất lượng không đáng kinh ngạc nhưng tôi ngạc nhiên điều này được hỗ trợ.

Dựa trên các liên kết được đăng bởi JonathonW , câu trả lời về cơ bản rút ra: "Có một danh sách lớn các từ tiếng Nhật và kiểm tra Chrome để xem bạn có nhấp đúp vào một từ không."

Cụ thể, v8 sử dụng ICU để thực hiện một loạt các công việc xử lý văn bản liên quan đến Unicode, bao gồm cả việc chia văn bản thành các từ . Mã phát hiện ranh giới ICU bao gồm "Công cụ ngắt dựa trên từ điển" cho các ngôn ngữ không có khoảng trắng, bao gồm tiếng Nhật, tiếng Trung, tiếng Thái, v.v.

Và với ví dụ cụ thể của bạn về "暗", bạn có thể tìm thấy từ đó trong từ điển Trung-Nhật kết hợp được vận chuyển bởi ICU (dòng 255431). Hiện tại có tổng số 315,671 từ tiếng Trung / tiếng Nhật trong danh sách. Có lẽ nếu bạn tìm thấy một từ mà Chrome không phân chia chính xác, bạn có thể gửi cho ICU một bản vá để thêm từ đó.