Phân tích từ vựng mà không có biểu thức chính quy

Tôi đã xem xét một vài từ vựng trong các ngôn ngữ cấp cao khác nhau ( Python , PHP , Javascript trong số những người khác) và tất cả họ dường như sử dụng các biểu thức thông thường ở dạng này hay dạng khác. Mặc dù tôi chắc chắn rằng regex có lẽ là cách tốt nhất để làm điều này, tôi đã tự hỏi liệu có cách nào để đạt được từ vựng cơ bản mà không có biểu thức chính quy, có thể là một số cách phân tích chuỗi trực tiếp hoặc một cái gì đó.

Vì vậy, yeah, có thể thực hiện một số loại từ vựng cơ bản trong ngôn ngữ cấp cao hơn * mà không cần sử dụng các biểu thức thông thường dưới bất kỳ hình thức nào không?

_{* Các ngôn ngữ cấp cao hơn là những thứ như Perl / PHP / Python / Javascript, v.v ... Tôi chắc chắn có một cách để làm điều đó trong C}

Trước hết, đã có các thư viện biểu thức chính quy cho C từ trước khi các ngôn ngữ "cấp cao hơn" của bạn được phát minh. Chỉ cần nói rằng, các chương trình C không quá phức tạp như một số người nghĩ.

Đối với hầu hết các ngữ pháp, từ vựng là vấn đề tìm kiếm khoảng trắng và một vài ký tự khác như () [] {}; để phân chia các từ và sau đó khớp với danh sách các từ khóa để xem có kết quả khớp nào không.

Bạn có thể quan tâm đến "trình phân tích cú pháp không quét", không có bước mã hóa riêng biệt. Một lời giải thích về lợi ích của trình phân tích cú pháp không quét được đưa ra ở phần đầu của bài viết này: Bộ lọc định hướng cho Trình phân tích cú pháp tổng quát không quét . (Tuy nhiên, cũng có nhược điểm.)

(PEG, đã được đề cập trong các câu trả lời khác, cũng có thể được sử dụng để xây dựng các trình phân tích cú pháp không quét.)

Không có gì cụ thể về các biểu thức thông thường. Chúng đơn giản là tốc ký cho phép bạn tạo mã dễ dàng hơn nhiều và việc triển khai thường được chuyển đi. Tuy nhiên, về cơ bản, từ vựng là các FSM và các biểu thức chính quy chỉ là một cách để đạt được mục tiêu đó.

Tất nhiên bạn có thể sử dụng các trình phân tích cú pháp khác, vì mọi ngôn ngữ thông thường cũng không có ngữ cảnh. Câu hỏi thực sự đi vào lý do tại sao bạn muốn.

Không thực sự có gì đơn giản hơn các biểu thức thông thường (làm thế nào bạn có thể cải thiện O (N)?) Và cố gắng đơn giản hóa sẽ không giúp đỡ. Bạn luôn có thể sử dụng quay lui đơn giản như Jetti đã chỉ ra, mặc dù tôi khuyên bạn nên tránh nó nếu có thể.

Nếu bạn sẽ sử dụng một trình phân tích cú pháp nâng cao hơn cho từ vựng thì có khả năng bạn không cần một giai đoạn từ vựng nào cả. Trên thực tế, lý do tại sao chúng ta có một giai đoạn từ vựng là vì việc phân tích các mã thông báo nhanh hơn so với phân tích các ký tự, cùng với đó là đơn giản hóa mạnh mẽ bước phân tích cú pháp của chúng ta. Vì vậy, bằng cách sử dụng một trình phân tích cú pháp nâng cao hơn, bạn chỉ cần mất tất cả lợi ích của việc lexing ngay từ đầu.

Thật hợp lý khi thực hiện phân tích từ vựng với các biểu thức thông thường hoặc bỏ qua bước này và thực hiện phân tích cú pháp từ vựng linh hoạt và mạnh mẽ hơn nhiều với PEG hoặc GLR.