Viết Trình biên dịch Trình biên dịch - Thông tin chi tiết về Sử dụng và Tính năng

Đây là một phần của một loạt các câu hỏi tập trung vào dự án chị em với Dự án Trừu tượng, nhằm mục đích trừu tượng hóa các khái niệm được sử dụng trong thiết kế ngôn ngữ dưới dạng khung. Dự án chị em được gọi là OILexer, nhằm mục đích xây dựng một trình phân tích cú pháp từ các tệp ngữ pháp, mà không sử dụng mã tiêm vào các kết quả khớp.

Một số trang khác liên quan đến những câu hỏi này, liên quan đến gõ cấu trúc, có thể được xem tại đây và dễ sử dụng, được tìm thấy ở đây . Chủ đề meta liên quan đến một cuộc điều tra về khung và vị trí thích hợp để đăng có thể được tìm thấy ở đây .

Tôi đang đi đến điểm mà tôi sắp bắt đầu trích xuất cây phân tích cú pháp từ một ngữ pháp nhất định, theo sau là trình phân tích cú pháp đệ quy sử dụng DFA để phân biệt các đường dẫn chuyển tiếp (tương tự như LL (*) của ANTLR 4, vì vậy tôi Hình tôi sẽ mở nó ra để hiểu rõ hơn.

Trong một trình biên dịch trình phân tích cú pháp, loại tính năng nào là lý tưởng?

Cho đến nay ở đây là một tổng quan ngắn gọn về những gì được thực hiện:

1. Mẫu
2. Nhìn về phía trước dự đoán, biết những gì hợp lệ tại một điểm nhất định.
3. Quy tắc 'Tiêu chuẩn hóa' lấy chữ theo quy tắc và giải quyết mã thông báo họ đến từ đâu.
4. Tự động không điều kiện
5. Automata quyết định
6. Máy trạng thái từ vựng đơn giản để nhận dạng mã thông báo
7. Phương pháp tự động hóa mã thông báo:
   • Quét - hữu ích cho nhận xét: Nhận xét: = "/ *" Quét ("* /");
   • Phép trừ - Hữu ích cho Mã định danh: Mã định danh: = Phép trừ (Mã định danh, Từ khóa);
     • Đảm bảo định danh không chấp nhận từ khóa.
   • Mã hóa - Mã hóa tự động hóa dưới dạng chuỗi X chuyển tiếp N cơ sở.
     • UnicodeEscape: = "\\ u" BaseEncode (Mã định danhCharNoEscape, 16, 4);
       • Làm cho một lối thoát unicode trong thập lục phân, với các chuyển tiếp hex 4. Sự khác biệt giữa điều này và: [0-9A-Fa-f] {4} là tự động hóa kết quả với Mã hóa giới hạn tập hợp các giá trị thập lục phân được phép trong phạm vi của Định danhCharNoEscape. Vì vậy, nếu bạn cung cấp cho nó \ u005c, phiên bản mã hóa sẽ không chấp nhận giá trị. Những thứ như thế này có một cảnh báo nghiêm trọng: Sử dụng một cách tiết kiệm. Việc tự động hóa kết quả có thể khá phức tạp.

Những gì không được triển khai là thế hệ CST, tôi cần điều chỉnh các tự động xác định để thực hiện bối cảnh thích hợp để làm việc này.

Đối với bất kỳ ai quan tâm, tôi đã tải lên một bản in đẹp của mẫu ban đầu của dự án T * y♯ . Mỗi tệp nên liên kết với mọi tệp khác, tôi bắt đầu liên kết theo các quy tắc riêng để tuân theo chúng, nhưng sẽ mất quá nhiều thời gian (sẽ tự động hóa đơn giản hơn!)

Nếu cần thêm ngữ cảnh, xin vui lòng gửi cho phù hợp.

Chỉnh sửa 5-14-2013 : Tôi đã viết mã để tạo đồ thị GraphViz cho các máy trạng thái trong một ngôn ngữ nhất định. Dưới đây là một sơ đồ đồ thị của GraphViz . Các thành viên được liên kết trong mô tả ngôn ngữ nên có một rulename.txt trong thư mục tương đối của họ với sơ đồ cho quy tắc đó. Một số mô tả ngôn ngữ đã thay đổi kể từ khi tôi đăng ví dụ, điều này là do đơn giản hóa mọi thứ về ngữ pháp. Đây là một hình ảnh graphviz thú vị .

Đây là một câu hỏi tuyệt vời.

Gần đây tôi đã làm việc với rất nhiều phân tích cú pháp và IMHO một số tính năng chính là:

• API lập trình - vì vậy nó có thể được sử dụng từ bên trong ngôn ngữ lập trình, lý tưởng nhất là chỉ cần nhập thư viện. Nó cũng có thể có giao diện giống GUI hoặc BNF, nhưng giao diện lập trình là chìa khóa, bởi vì bạn có thể sử dụng lại công cụ, IDE, phân tích tĩnh, kiểm tra, tiện ích trừu tượng ngôn ngữ, lập trình viên quen thuộc, trình tạo tài liệu, quá trình xây dựng, v.v. Ngoài ra, bạn có thể tương tác chơi với các trình phân tích cú pháp nhỏ, giúp giảm đáng kể thời gian học tập. Những lý do này đặt nó ở đầu danh sách "các tính năng quan trọng" của tôi.

• báo cáo lỗi, như @guysherman đã đề cập. Khi tìm thấy lỗi, tôi muốn biết lỗi đó ở đâu và chuyện gì đang xảy ra khi nó xảy ra. Thật không may, tôi đã không thể tìm thấy các tài nguyên tốt để giải thích cách tạo ra các lỗi tốt khi quay lại để chơi. (Mặc dù ghi chú @ Sk-logic của bình luận bên dưới).

• kết quả một phần. Khi phân tích cú pháp thất bại, tôi muốn có thể xem những gì đã được phân tích thành công từ phần đầu vào trước vị trí xảy ra lỗi.

• trừu tượng hóa. Bạn không bao giờ có thể xây dựng đủ các chức năng và người dùng sẽ luôn cần nhiều hơn, vì vậy cố gắng tìm ra tất cả các chức năng có thể ở phía trước sẽ thất bại. Đây có phải là những gì bạn có nghĩa là bởi các mẫu?

• Tôi đồng ý với dự đoán số 2 của bạn (dự đoán trước). Tôi nghĩ rằng nó giúp tạo ra các báo cáo lỗi tốt. Nó có hữu ích cho bất cứ điều gì khác?

• hỗ trợ xây dựng cây phân tích khi phân tích cú pháp xảy ra, có lẽ:

  • một cây cú pháp cụ thể, trong đó cấu trúc của cây tương ứng trực tiếp với ngữ pháp và bao gồm thông tin bố trí để báo cáo lỗi của các giai đoạn sau. Trong trường hợp này, khách hàng không cần phải làm bất cứ điều gì để có được cấu trúc cây phù hợp - nó phải phụ thuộc trực tiếp vào ngữ pháp.
  • một cây cú pháp trừu tượng. Trong trường hợp này, người dùng có thể sử dụng bất kỳ và tất cả các cây phân tích cú pháp

• một số loại đăng nhập. Tôi không chắc chắn về điều này; có thể để hiển thị dấu vết của các quy tắc mà trình phân tích cú pháp đã thử hoặc để theo dõi các mã thông báo rác như khoảng trắng hoặc nhận xét, trong trường hợp (ví dụ) bạn muốn sử dụng mã thông báo để tạo tài liệu HTML.

• khả năng đối phó với các ngôn ngữ nhạy cảm ngữ cảnh. Không chắc chắn điều này quan trọng như thế nào - trong thực tế, có vẻ như sẽ phân tích một siêu ngôn ngữ với ngữ pháp không ngữ cảnh, sau đó kiểm tra các ràng buộc nhạy cảm theo ngữ cảnh trong các lần vượt qua sau.

• thông báo lỗi tùy chỉnh, để tôi có thể điều chỉnh các báo cáo lỗi trong các tình huống cụ thể và có thể nhanh chóng hiểu và khắc phục sự cố hơn.

Mặt khác, tôi không thấy việc sửa lỗi đặc biệt quan trọng - mặc dù tôi không cập nhật về tiến trình hiện tại. Các vấn đề tôi nhận thấy là các sửa chữa tiềm năng mà các công cụ cung cấp là: 1) quá nhiều và 2) không tương ứng với các lỗi thực tế đã gây ra và vì vậy không hữu ích lắm. Hy vọng tình trạng này sẽ được cải thiện (hoặc có lẽ đã làm như vậy).

Tôi không có kinh nghiệm về thiết kế ngôn ngữ, nhưng tôi đã từng viết một trình phân tích cú pháp một lần, khi tôi đang tạo và IDE cho một công cụ trò chơi.

Một cái gì đó quan trọng đối với người dùng cuối cùng của bạn, theo tôi, là thông báo lỗi có ý nghĩa. Không phải là một điểm đặc biệt rung chuyển trái đất, tôi biết, nhưng theo nó ngược lại, một trong những ý nghĩa chính của điều này là bạn cần có thể tránh được những thông tin sai lệch. Trường hợp dương tính giả đến từ đâu? Họ đến từ trình phân tích cú pháp rơi ở lỗi đầu tiên và không bao giờ hoàn toàn hồi phục. C / C ++ nổi tiếng về điều này (mặc dù các trình biên dịch mới hơn thông minh hơn một chút).

Vì vậy, những gì bạn cần thay thế? Tôi nghĩ rằng thay vì chỉ biết những gì / không hợp lệ tại một thời điểm, bạn cần biết cách lấy những gì không hợp lệ và thực hiện một thay đổi tối thiểu để làm cho nó hợp lệ - để bạn có thể tiếp tục phân tích cú pháp mà không tạo ra các lỗi sai liên quan để gốc đệ quy của bạn nhận được nhầm lẫn. Việc có thể xây dựng một trình phân tích cú pháp có thể tạo ra thông tin này không chỉ cung cấp cho bạn một trình phân tích cú pháp rất mạnh mẽ mà còn mở ra một số tính năng tuyệt vời cho phần mềm sử dụng trình phân tích cú pháp.

Tôi nhận ra rằng tôi có thể đề xuất một cái gì đó thực sự khó khăn, hoặc rõ ràng ngu ngốc, xin lỗi nếu đây là trường hợp. Nếu đây không phải là thứ bạn đang tìm kiếm, tôi sẽ vui vẻ xóa câu trả lời của tôi.

Ngữ pháp không được có các hạn chế như "không để lại các quy tắc đệ quy". Thật nực cười khi các công cụ được sử dụng rộng rãi ngày nay có điều này và chỉ có thể hiểu được việc sử dụng ngữ pháp LL - gần 50 năm sau khi yacc làm đúng.

Một ví dụ cho đệ quy đúng (sử dụng cú pháp yacc):

list: 
      elem                  { $$ = singleton($1); }
    | elem ',' list         { $$ = cons($1, $2);  }
    ;

Một ví dụ cho đệ quy trái (sử dụng yacc synatx):

funapp:
    term                    { $$ = $1; }
    | funapp term           { $$ = application($1, $2); }
    ;

Bây giờ, điều này có thể "tái cấu trúc" thành thứ khác, nhưng trong cả hai trường hợp, loại đệ quy cụ thể chỉ là cách "đúng" để viết này, vì (trong ngôn ngữ ví dụ) danh sách là đệ quy phải trong khi ứng dụng hàm được đệ quy trái .

Người ta có thể mong đợi từ các công cụ tiên tiến mà họ hỗ trợ theo cách tự nhiên để viết nội dung, thay vì yêu cầu một công cụ "tái cấu trúc" mọi thứ phải ở dạng đệ quy trái / phải mà công cụ áp đặt lên một.