Là phân tích cú pháp và lexing riêng biệt vượt qua thực hành tốt với các tổ hợp trình phân tích cú pháp?

Khi tôi bắt đầu sử dụng các trình kết hợp trình phân tích cú pháp, phản ứng đầu tiên của tôi là cảm giác giải phóng khỏi cảm giác giống như sự phân biệt giả tạo giữa phân tích cú pháp và từ vựng. Tất cả mọi thứ đột nhiên chỉ là phân tích cú pháp!

Tuy nhiên, gần đây tôi đã xem qua bài đăng này trên codereview.stackexchange minh họa cho ai đó phục hồi sự khác biệt này. Lúc đầu, tôi nghĩ rằng điều này rất ngớ ngẩn với họ, nhưng sau đó thực tế là các chức năng tồn tại trong Parsec để hỗ trợ hành vi này khiến tôi phải tự đặt câu hỏi.

Những lợi thế / bất lợi của việc phân tích cú pháp trên một luồng đã được lexed trong các trình kết hợp trình phân tích cú pháp là gì?

Dưới phân tích cú pháp, chúng tôi hiểu hầu hết phân tích các ngôn ngữ tự do ngữ cảnh. Một ngôn ngữ tự do ngữ cảnh mạnh hơn ngôn ngữ thông thường, do đó trình phân tích cú pháp có thể (thường xuyên nhất) thực hiện công việc của bộ phân tích từ vựng ngay lập tức.

Nhưng, đây là một) khá không tự nhiên b) thường không hiệu quả.

Đối với a), nếu tôi nghĩ về việc ví dụ ifbiểu thức trông như thế nào , tôi nghĩ NẾU expr THEN expr ELSE expr chứ không phải 'i' 'f', có thể một số khoảng trắng, sau đó bất kỳ ký tự nào mà một biểu thức có thể bắt đầu, v.v. ý tưởng.

Đối với b) có các công cụ mạnh mẽ thực hiện công việc tuyệt vời để nhận ra các thực thể từ vựng, như định danh, nghĩa đen, dấu ngoặc, v.v. Chúng sẽ thực hiện công việc của chúng trong thực tế không có thời gian và cung cấp cho bạn một giao diện đẹp: danh sách các mã thông báo. Không phải lo lắng về việc bỏ qua khoảng trắng trong trình phân tích cú pháp nữa, trình phân tích cú pháp của bạn sẽ trừu tượng hơn nhiều khi nó xử lý các mã thông báo chứ không phải với các ký tự.

Rốt cuộc, nếu bạn nghĩ rằng một trình phân tích cú pháp nên bận rộn với các công cụ cấp thấp, tại sao sau đó xử lý các ký tự? Người ta có thể viết nó cũng trên cấp độ bit! Bạn thấy đấy, một trình phân tích cú pháp như vậy hoạt động ở cấp độ bit sẽ gần như không thể hiểu được. Nó giống với các ký tự và mã thông báo.

Chỉ 2 xu của tôi.

Mọi người đều cho rằng tách biệt từ vựng và phân tích cú pháp là một "cách thực hành tốt" - tôi phải không đồng ý - trong nhiều trường hợp, việc thực hiện từ vựng và phân tích cú pháp trong một lần duy nhất mang lại nhiều sức mạnh hơn và ý nghĩa về hiệu suất không tệ như chúng được trình bày trong câu trả lời khác (xem Packrat ).

Cách tiếp cận này tỏa sáng khi người ta phải trộn một số ngôn ngữ khác nhau trong một luồng đầu vào. Điều này không chỉ cần thiết bởi các ngôn ngữ định hướng siêu lập trình kỳ lạ như Katahdin và tương tự , mà còn cho các ứng dụng chính thống hơn nhiều, như lập trình biết chữ (trộn latex và, nói, C ++), sử dụng HTML trong nhận xét, đưa Javascript vào HTML và Sớm.

Một bộ phân tích từ vựng nhận ra một ngôn ngữ thông thường và một trình phân tích cú pháp nhận ra một ngôn ngữ không ngữ cảnh. Vì mỗi ngôn ngữ thông thường cũng không có ngữ cảnh (có thể được xác định bởi cái gọi là ngữ pháp tuyến tính phải ), trình phân tích cú pháp cũng có thể nhận ra một ngôn ngữ thông thường và sự phân biệt giữa trình phân tích cú pháp và phân tích từ vựng dường như thêm một số phức tạp không cần thiết: một ngữ cảnh đơn lẻ ngữ pháp miễn phí (trình phân tích cú pháp) có thể thực hiện công việc của trình phân tích cú pháp và trình phân tích từ vựng.

Mặt khác, có thể hữu ích khi nắm bắt một số yếu tố của ngôn ngữ không ngữ cảnh thông qua ngôn ngữ thông thường (và do đó là máy phân tích từ vựng) bởi vì

1. Thông thường các yếu tố này xuất hiện thường xuyên đến mức chúng có thể được xử lý theo cách tiêu chuẩn: nhận dạng số và chuỗi ký tự, từ khóa, mã định danh, bỏ qua khoảng trắng, v.v.
2. Việc xác định ngôn ngữ thông thường của mã thông báo giúp việc ngữ pháp không ngữ cảnh trở nên đơn giản hơn, ví dụ: người ta có thể suy luận về mặt định danh, không phải về các ký tự riêng lẻ hoặc người ta có thể bỏ qua khoảng trắng hoàn toàn nếu nó không phù hợp với ngôn ngữ cụ thể đó.

Vì vậy, phân tách phân tích cú pháp khỏi phân tích từ vựng có lợi thế là bạn có thể làm việc với một ngữ pháp không ngữ cảnh đơn giản hơn và gói gọn một số tác vụ cơ bản (thường là thường lệ) trong máy phân tích từ vựng (chia et đế chế).

CHỈNH SỬA

Tôi không quen thuộc với các trình kết hợp trình phân tích cú pháp vì vậy tôi không chắc các cân nhắc trên áp dụng như thế nào trong bối cảnh đó. Ấn tượng của tôi là ngay cả khi với các trình kết hợp trình phân tích cú pháp, người ta chỉ có một ngữ pháp không ngữ cảnh, việc phân biệt giữa hai cấp độ (phân tích từ vựng / phân tích cú pháp) có thể giúp làm cho ngữ pháp này trở nên mô đun hơn. Như đã nói, lớp phân tích từ vựng thấp hơn có thể chứa các trình phân tích cú pháp có thể tái sử dụng cơ bản cho các định danh, nghĩa đen, v.v.

Đơn giản, nên tách biệt và phân tích cú pháp vì chúng phức tạp khác nhau. Lexing là một DFA (automaton hữu hạn xác định) và trình phân tích cú pháp là một PDA (tự động đẩy xuống). Điều này có nghĩa là phân tích cú pháp vốn đã tiêu tốn nhiều tài nguyên hơn so với từ vựng và có các kỹ thuật tối ưu hóa cụ thể chỉ dành cho DFA. Ngoài ra, việc viết một máy trạng thái hữu hạn sẽ ít phức tạp hơn và dễ dàng tự động hóa hơn.

Bạn đang lãng phí bằng cách sử dụng thuật toán phân tích cú pháp để lex.

Một trong những lợi thế chính của phân tích cú pháp / lex riêng biệt là biểu diễn trung gian - luồng mã thông báo. Điều này có thể được xử lý theo nhiều cách khác nhau mà không thể thực hiện được với một lex / parse kết hợp.

Điều đó nói rằng, tôi đã thấy rằng 'ol đệ quy tốt có thể ít phức tạp hơn và dễ dàng hơn để làm việc với việc học một số trình tạo trình phân tích cú pháp và phải tìm ra cách diễn đạt điểm yếu của ngữ pháp trong các quy tắc của trình tạo trình phân tích cú pháp.