Câu hỏi được gắn thẻ «lexer»

Có phải lexers và Parsers thực sự khác nhau về lý thuyết? Có vẻ thời trang để ghét các biểu thức thông thường: mã hóa kinh dị , một bài đăng blog khác . Tuy nhiên, các công cụ dựa trên lexing phổ biến: pygments , geshi hoặc prettify , …

308 parsing  antlr  lexer  pygments 

Tôi đang tìm một định nghĩa rõ ràng về "mã thông báo", "trình phân tích cú pháp" và "từ vựng" là gì và chúng có liên quan với nhau như thế nào (ví dụ: trình phân tích cú pháp sử dụng mã thông báo hoặc ngược lại)? Tôi cần tạo …

151 parsing  lexer  tokenize 

Tôi muốn học cách viết lexer. Khóa học đại học của tôi có một bài tập mà chúng tôi phải viết một parser (và một lexer để đi cùng với nó) nhưng điều này được giao cho chúng tôi mà không có hướng dẫn hoặc phản hồi (vượt quá điểm) …

85 language-agnostic  lexer  compiler-construction