Dường như GCC và LLVM-Clang đang sử dụng viết tay parsers gốc đệ quy , và không máy tạo ra, Bison-Flex dựa, từ dưới lên phân tích cú pháp.
Ai đó ở đây có thể vui lòng xác nhận rằng đây là trường hợp? Và nếu vậy, tại sao các khung biên dịch chính thống lại sử dụng trình phân tích cú pháp viết tay?
Cập nhật : blog thú vị về chủ đề này ở đây
Câu trả lời:
Đúng:
GCC đã từng sử dụng trình phân tích cú pháp yacc (bison), nhưng nó đã được thay thế bằng trình phân tích cú pháp gốc đệ quy viết tay tại một số điểm trong loạt 3.x: xem http://gcc.gnu.org/wiki/New_C_Parser cho liên kết đến các bản vá lỗi có liên quan.
Clang cũng sử dụng trình phân tích cú pháp gốc đệ quy viết tay: xem phần "Một trình phân tích cú pháp hợp nhất duy nhất cho C, Objective C, C ++ và Objective C ++" ở gần cuối http://clang.llvm.org/features.html .
foo * bar;có thể phân tích cú pháp dưới dạng một biểu thức nhân (với kết quả không được sử dụng) hoặc một khai báo của một biến barcó kiểu con trỏ-to- foo. Cái nào đúng phụ thuộc vào việc một typedeffor foocó nằm trong phạm vi tại thời điểm đó hay không, đây không phải là thứ có thể được xác định bằng bất kỳ lượng tìm kiếm nào. Nhưng điều đó chỉ có nghĩa là trình phân tích cú pháp gốc đệ quy cần một số máy móc bổ sung xấu xí được thêm vào để xử lý điều đó.
Có một định lý dân gian nói rằng C rất khó để phân tích cú pháp, và C ++ về cơ bản là không thể.
Nó không đúng.
Điều đúng là C và C ++ khá khó để phân tích cú pháp bằng cách sử dụng bộ phân tích cú pháp LALR (1) mà không cần đến máy móc phân tích cú pháp và làm rối trong dữ liệu bảng ký hiệu. Trên thực tế, GCC đã sử dụng để phân tích cú pháp chúng, sử dụng YACC và các phương thức hack bổ sung như thế này, và vâng, nó thật tệ. Giờ đây, GCC sử dụng các trình phân tích cú pháp viết tay, nhưng vẫn với hack bảng biểu tượng. Người Clang chưa bao giờ cố gắng sử dụng các trình tạo phân tích cú pháp tự động; AFAIK trình phân tích cú pháp Clang luôn được mã hóa thủ công gốc đệ quy.
Điều đúng là C và C ++ tương đối dễ phân tích cú pháp với các trình phân tích cú pháp được tạo tự động mạnh hơn, ví dụ: trình phân tích cú pháp GLR và bạn không cần bất kỳ bản hack nào. Bộ phân tích cú pháp Elsa C ++ là một ví dụ về điều này. Giao diện người dùng C ++ của chúng tôi là một giao diện khác (cũng như tất cả các giao diện người dùng "trình biên dịch" của chúng tôi, GLR là công nghệ phân tích cú pháp khá tuyệt vời).
Giao diện người dùng C ++ của chúng tôi không nhanh bằng GCC và chắc chắn chậm hơn Elsa; chúng tôi đã dành ít năng lượng để điều chỉnh nó một cách cẩn thận bởi vì chúng tôi có những vấn đề cấp bách khác (tuy nhiên nó đã được sử dụng trên hàng triệu dòng mã C ++). Elsa có thể chậm hơn GCC đơn giản vì nó chung chung hơn. Với tốc độ của bộ xử lý ngày nay, những khác biệt này có thể không quan trọng nhiều trong thực tế.
Nhưng các "trình biên dịch thực sự" được phân phối rộng rãi ngày nay có nguồn gốc từ các trình biên dịch của 10, 20 năm trước hoặc hơn. Sau đó, sự kém hiệu quả còn quan trọng hơn nhiều, và chưa ai nghe nói về trình phân tích cú pháp GLR, vì vậy mọi người đã làm những gì họ biết cách làm. Clang chắc chắn là gần đây hơn, nhưng sau đó các định lý dân gian vẫn giữ được "sức thuyết phục" của chúng trong một thời gian dài.
Bạn không cần phải làm theo cách đó nữa. Bạn rất có thể sử dụng hợp lý GLR và các trình phân tích cú pháp khác làm giao diện người dùng, với sự cải thiện về khả năng bảo trì trình biên dịch.
Sự thật là như thế nào, là khó có được một ngữ pháp phù hợp với hành vi của trình biên dịch hàng xóm thân thiện của bạn. Trong khi hầu như tất cả các trình biên dịch C ++ đều triển khai (hầu hết) tiêu chuẩn ban đầu, chúng cũng có xu hướng có nhiều phần mở rộng góc tối, ví dụ: thông số kỹ thuật DLL trong trình biên dịch MS, v.v. Nếu bạn có một công cụ phân tích cú pháp mạnh, bạn có thể dành thời gian cố gắng lấy ngữ pháp cuối cùng để phù hợp với thực tế, thay vì cố gắng bẻ cong ngữ pháp của bạn để phù hợp với những hạn chế của trình phân tích cú pháp của bạn.
CHỈNH SỬA Tháng 11 năm 2012: Kể từ khi viết câu trả lời này, chúng tôi đã cải thiện giao diện người dùng C ++ của mình để xử lý C ++ 11 đầy đủ, bao gồm các phương ngữ biến thể ANSI, GNU và MS. Mặc dù có rất nhiều thứ bổ sung, chúng tôi không cần phải thay đổi công cụ phân tích cú pháp của mình; chúng tôi vừa sửa đổi các quy tắc ngữ pháp. Chúng tôi đã phải thay đổi phân tích ngữ nghĩa; C ++ 11 rất phức tạp về mặt ngữ nghĩa và công việc này làm tiêu hao nỗ lực để trình phân tích cú pháp chạy.
CHỈNH SỬA Tháng 2 năm 2015: ... hiện xử lý đầy đủ C ++ 14. (Xem lấy AST có thể đọc được của con người từ mã c ++ để phân tích cú pháp GLR của một đoạn mã đơn giản và "phân tích cú pháp khó chịu nhất" khét tiếng của C ++).
CHỈNH SỬA Tháng 4 năm 2017: Bây giờ xử lý (bản nháp) C ++ 17.
foo * bar;sự mơ hồ đó như thế nào?
Trình phân tích cú pháp của Clang là trình phân tích cú pháp gốc đệ quy được viết tay, cũng như một số giao diện người dùng C và C ++ mã nguồn mở và thương mại khác.
Clang sử dụng trình phân tích cú pháp gốc đệ quy vì một số lý do:
Nhìn chung, đối với một trình biên dịch C ++, điều đó không quan trọng lắm: phần phân tích cú pháp của C ++ không phải là tầm thường, nhưng nó vẫn là một trong những phần dễ dàng hơn, vì vậy bạn phải giữ cho nó đơn giản. Phân tích ngữ nghĩa --- đặc biệt là tra cứu tên, khởi tạo, giải quyết quá tải và khởi tạo mẫu --- là các đơn đặt hàng phức tạp hơn phân tích cú pháp. Nếu bạn muốn có bằng chứng, hãy kiểm tra việc phân phối mã và các cam kết trong thành phần "Sema" của Clang (để phân tích ngữ nghĩa) so với thành phần "Phân tích cú pháp" của nó (để phân tích cú pháp).
trình phân tích cú pháp của gcc được viết tay. . Tôi nghi ngờ điều tương tự đối với tiếng kêu. Điều này có thể là vì một vài lý do:
Đây có lẽ không phải là một trường hợp của hội chứng "không được phát minh ra ở đây", nhưng nhiều hơn là "không có gì được tối ưu hóa cụ thể cho những gì chúng tôi cần, vì vậy chúng tôi đã viết của riêng mình".
Câu trả lời kỳ lạ ở đó!
Ngữ pháp C / C ++ không có ngữ cảnh. Chúng nhạy cảm với ngữ cảnh vì thanh Foo *; sự mơ hồ. Chúng ta phải xây dựng một danh sách các typedef để biết Foo có phải là một loại hay không.
Ira Baxter: Tôi không hiểu vấn đề GLR của bạn. Tại sao phải xây dựng một cây phân tích cú pháp bao gồm những điều không rõ ràng. Phân tích cú pháp có nghĩa là giải quyết sự mơ hồ, xây dựng cây cú pháp. Bạn giải quyết những sự mơ hồ này trong một lần xử lý thứ hai, vì vậy điều này không ít xấu xí hơn. Đối với tôi nó còn xấu xa hơn nhiều ...
Yacc là trình tạo phân tích cú pháp LR (1) (hoặc LALR (1)), nhưng nó có thể dễ dàng sửa đổi để có ngữ cảnh nhạy cảm. Và không có gì xấu xí trong đó. Yacc / Bison đã được tạo ra để giúp phân tích ngôn ngữ C, vì vậy có lẽ nó không phải là công cụ xấu nhất để tạo trình phân tích cú pháp C ...
Cho đến GCC 3.x, trình phân tích cú pháp C được tạo bởi yacc / bison, với bảng typedefs được xây dựng trong quá trình phân tích cú pháp. Với việc xây dựng bảng typedefs "in parse", ngữ pháp C trở nên không có ngữ cảnh cục bộ và hơn nữa là "local LR (1)".
Bây giờ, trong Gcc 4.x, nó là một trình phân tích cú pháp gốc đệ quy. Nó hoàn toàn giống với trình phân tích cú pháp như trong Gcc 3.x, nó vẫn là LR (1) và có cùng các quy tắc ngữ pháp. Sự khác biệt là trình phân tích cú pháp yacc đã được viết lại bằng tay, chuyển / giảm hiện được ẩn trong ngăn xếp cuộc gọi và không có "state454: if (nextsym == '(') goto state398" như trong gcc 3.x yacc's phân tích cú pháp, do đó, việc vá lỗi, xử lý lỗi và in thư đẹp hơn dễ dàng hơn và thực hiện một số bước biên dịch tiếp theo trong quá trình phân tích cú pháp. Với mức giá thấp hơn nhiều mã "dễ đọc" cho một gcc noob.
Tại sao họ chuyển từ yacc sang đệ quy? Bởi vì nó là khá cần thiết để tránh yacc để phân tích cú pháp C ++, và vì GCC mơ ước là trình biên dịch đa ngôn ngữ, tức là chia sẻ tối đa mã giữa các ngôn ngữ khác nhau mà nó có thể biên dịch. Đây là lý do tại sao C ++ và C parser được viết theo cùng một cách.
C ++ khó phân tích cú pháp hơn C vì nó không phải là LR (1) "cục bộ" như C, nó thậm chí không phải là LR (k). Hãy xem func<4 > 2>đó là một hàm mẫu được khởi tạo với 4> 2, tức là func<4 > 2>
phải được đọc là func<1>. Đây chắc chắn không phải là LR (1). Bây giờ hãy xem xét func<4 > 2 > 1 > 3 > 3 > 8 > 9 > 8 > 7 > 8>,. Đây là nơi mà một đường xuống đệ quy có thể dễ dàng giải quyết sự mơ hồ, với giá của một vài lệnh gọi hàm khác (parse_template_parameter là hàm phân tích cú pháp không rõ ràng. Nếu parse_template_parameter (17 mã thông báo) không thành công, hãy thử lại parse_template_parameter (15 mã thông báo), parse_template_parameter (13 mã thông báo) ... nó hoạt động).
Tôi không biết tại sao không thể thêm vào các ngữ pháp phụ đệ quy yacc / bison, có lẽ đây sẽ là bước tiếp theo trong phát triển trình phân tích cú pháp gcc / GNU?
Có vẻ như GCC và LLVM-Clang đang sử dụng trình phân tích cú pháp gốc đệ quy viết tay chứ không phải do máy tạo ra, dựa trên Bison-Flex, phân tích cú pháp từ dưới lên.
Nói riêng về Bison, tôi không nghĩ có thể xử lý ngữ pháp mà không cần phân tích cú pháp một số thứ một cách mơ hồ và thực hiện lần thứ hai sau đó.
Tôi biết Haskell's Happy cho phép phân tích cú pháp đơn nguyên (tức là phụ thuộc vào trạng thái) có thể giải quyết vấn đề cụ thể với cú pháp C, nhưng tôi biết không có trình tạo phân tích cú pháp C nào cho phép đơn nguyên trạng thái do người dùng cung cấp.
Về lý thuyết, khôi phục lỗi sẽ là một điểm có lợi cho trình phân tích cú pháp viết tay, nhưng kinh nghiệm của tôi với GCC / Clang là các thông báo lỗi không đặc biệt tốt.
Đối với hiệu suất - một số tuyên bố dường như không có cơ sở. Việc tạo ra một máy trạng thái lớn bằng cách sử dụng trình tạo phân tích cú pháp sẽ dẫn đến một cái gì đó O(n)và tôi nghi ngờ phân tích cú pháp là nút thắt cổ chai trong nhiều công cụ.