Làm thế nào bạn sẽ đi về phân tích Markdown? [đóng cửa]

Chỉnh sửa: Gần đây tôi đã biết về một dự án có tên CommonMark, xác định chính xác và xử lý các vấn đề mơ hồ trong đặc tả Markdown ban đầu. http://commonmark.org/ Nó có hỗ trợ thư viện C # tuyệt vời.

Bạn có thể tìm thấy cú pháp ở đây .

Nguồn tiếp theo với tải xuống được viết bằng Perl , mà tôi không có ý định tôn vinh. Nó được đánh đố với các biểu thức thông thường và nó dựa vào băm MD5 để thoát các ký tự nhất định. Có gì đó không đúng về điều đó!

Tôi sắp sửa mã hóa trình phân tích cú pháp cho Markdown . Kinh nghiệm với điều này là gì?

Nếu bạn không có bất cứ điều gì có ý nghĩa để nói về phân tích cú pháp thực tế của Markdown, hãy dành thời gian cho tôi. (Điều này nghe có vẻ khắc nghiệt, nhưng vâng, tôi đang tìm kiếm cái nhìn sâu sắc, không phải là một giải pháp, đó là thư viện của bên thứ ba).

Để giúp một chút với các câu trả lời, các biểu thức thông thường có nghĩa là để xác định các mẫu ! KHÔNG phân tích toàn bộ ngữ pháp. Mà mọi người coi như vậy là foobar.

• Nếu bạn nghĩ về Markdown, về cơ bản, nó dựa trên khái niệm đoạn văn.
• Như vậy, một cách tiếp cận hợp lý có thể là chia đầu vào thành các đoạn.
• Có nhiều loại đoạn văn, ví dụ, tiêu đề, văn bản, danh sách, blockquote và mã.
• Do đó, thách thức là xác định các đoạn này và trong bối cảnh chúng xảy ra.

Tôi sẽ trở lại với một giải pháp, một khi tôi thấy nó xứng đáng được chia sẻ.

Việc thực hiện đánh dấu duy nhất mà tôi biết, sử dụng một trình phân tích cú pháp thực tế, là chốt đánh dấu chốt của Jon MacFarleaneát . Trình phân tích cú pháp của nó dựa trên trình tạo trình phân tích cú pháp ngữ pháp phân tích cú pháp được gọi là chốt .

EDIT: Mới đây, Mauricio Fernandez đã phát hành trình phân tích cú pháp Markup Markdown đơn giản của mình , được viết như một phần của OcsiBlog Weblog Engine. Bởi vì phân tích cú pháp được viết bằng OCaml , nó là vô cùng đơn giản và ngắn (268 SLOC cho phân tích cú pháp , 43 SLOC cho HTML phát ), nhưng blazingly nhanh (20% nhanh hơn so với giảm giá (viết bằng tay được tối ưu hóa C) và sixhundred lần nhanh hơn hơn BlueCloth ( Ruby)), mặc dù thực tế là nó thậm chí chưa được tối ưu hóa cho hiệu suất. Bởi vì nó chỉ dành cho mục đích sử dụng nội bộ của chính Mauricio cho weblog của mình, nên có một vài sai lệch so với thông số kỹ thuật chính thức của Markdown , nhưng Mauricio đã tạo ra một nhánh hoàn nguyên hầu hết những thay đổi đó .

Tôi đã phát hành một triển khai Java Markdown dựa trên trình phân tích cú pháp mới vào tuần trước, được gọi là pegdown . pegdown sử dụng trình phân tích cú pháp PEG để trước tiên xây dựng một cây cú pháp trừu tượng, sau đó được viết ra HTML. Vì vậy, nó khá sạch sẽ và dễ đọc hơn, duy trì và mở rộng hơn so với cách tiếp cận dựa trên regex. Ngữ pháp PEG dựa trên việc thực hiện "chốt đánh dấu" của John MacFarlanes C.

Có lẽ điều gì đó khiến bạn quan tâm ...

Nếu tôi cố gắng phân tích cú pháp đánh dấu (và phần mở rộng của nó Markdown thêm ) Tôi nghĩ rằng tôi sẽ thử sử dụng một máy trạng thái và phân tích cú pháp một lần, liên kết với nhau một số cấu trúc bên trong đại diện cho các đoạn văn bản khi tôi đi cùng, một lần tất cả được phân tích cú pháp, tạo đầu ra từ các đối tượng được xâu chuỗi lại với nhau.

Về cơ bản, tôi sẽ xây dựng một cây giống như DOM nhỏ khi tôi đọc tệp đầu vào.
Để tạo đầu ra, tôi chỉ cần duyệt qua cây và đầu ra HTML hoặc bất cứ thứ gì khác (PS, LaTex, RTF, ...)

Những thứ có thể làm tăng sự phức tạp:

• Thực tế là bạn có thể trộn HTML và markdown, mặc dù quy tắc có thể dễ thực hiện: chỉ cần bỏ qua mọi thứ nằm giữa hai thẻ cân bằng và xuất ra nguyên văn.

• URL và ghi chú có thể có tài liệu tham khảo của họ ở dưới cùng của văn bản. Sử dụng cấu trúc dữ liệu cho các siêu liên kết có thể chỉ cần ghi lại một cái gì đó như:

  [my text to a link][linkkey]
  results in a structure like: 
      URLStructure: 
      |  InnerText : "my text to a link"
      |  Key       : "linkkey"
      |  URL       : <null>
  

• Các tiêu đề có thể được xác định bằng một gạch chân, điều đó có thể buộc chúng ta sử dụng cấu trúc dữ liệu đơn giản cho một đoạn chung và sửa đổi các thuộc tính của nó khi chúng ta đọc tệp:

  ParagraphStructure:
  |  InnerText    : the current paragraph text 
  |                 (beginning of line until end of line).
  |  HeadingLevel : <null> or 1-4 when we can assess 
  |                 that paragraph heading level, if any.
  

Dù sao, chỉ là một vài suy nghĩ.

Tôi chắc chắn rằng có nhiều chi tiết nhỏ cần quan tâm và tôi khá chắc chắn rằng Regexes có thể trở nên tiện dụng trong quá trình này.
Rốt cuộc, họ có nghĩa là để xử lý văn bản.

Có lẽ tôi đã đọc đặc tả cú pháp đủ lần để biết nó và cảm nhận về cách phân tích cú pháp.

Đọc mã trình phân tích cú pháp hiện tại tất nhiên là tuyệt vời, cả hai để xem những gì dường như là nguồn phức tạp chính và nếu có bất kỳ thủ thuật thông minh đặc biệt nào đang được sử dụng. Việc sử dụng kiểm tra MD5 có vẻ hơi lạ, nhưng tôi chưa nghiên cứu mã đủ để hiểu tại sao nó được thực hiện. Một nhận xét trong một thói quen được gọi là _EscapeSpecialChars()trạng thái:

Chúng tôi sẽ thay thế từng ký tự như vậy bằng giá trị tổng kiểm tra MD5 tương ứng; điều này có thể là quá mức cần thiết, nhưng nó sẽ ngăn chúng ta va chạm với các giá trị thoát một cách tình cờ.

Thay thế một ký tự bằng MD5 đầy đủ có vẻ ngông cuồng, nhưng có lẽ nó thực sự có ý nghĩa.

Tất nhiên, sẽ là thông minh khi xem xét việc tạo cú pháp "đúng", cho một công cụ như Flex để thoát khỏi chế độ regex.

Nếu Perl không phải là thứ của bạn, thì có các triển khai Markdown bằng ít nhất 10 ngôn ngữ khác . Họ có thể không có khả năng tương thích 100%, nhưng có xu hướng khá gần gũi.

MarkdownPapers là một triển khai Java khác có trình phân tích cú pháp được xác định theo ngữ pháp JavaCC .

Nếu bạn đang sử dụng ngôn ngữ lập trình có nhiều hơn ba người dùng khác, bạn sẽ có thể tìm một thư viện để phân tích cú pháp cho bạn. Google-ing nhanh chóng tiết lộ các thư viện cho CL, Haskell, Python, JavaScript, Ruby, v.v. Rất khó có khả năng bạn sẽ cần phải phát minh lại bánh xe này.

Nếu bạn thực sự phải viết nó từ đầu, tôi khuyên bạn nên viết một trình phân tích cú pháp thích hợp. Với kỹ thuật này, bạn sẽ không phải thoát mọi thứ với băm MD5. (Tôi đồng ý rằng nếu bạn phải làm một cái gì đó như thế này, đã đến lúc xem xét lại thiết kế của bạn.)

Có các thư viện có sẵn trong một số ngôn ngữ, bao gồm php, ruby, java, c #, javascript. Tôi muốn đề nghị xem xét một vài trong số này cho các ý tưởng.

Nó phụ thuộc vào ngôn ngữ bạn muốn sử dụng, đối với cách tốt nhất để thực hiện nó, sẽ có những cách thành ngữ và không thành ngữ để làm điều đó.

Regexes hoạt động trong perl, bởi vì perl và regex là những người bạn tốt nhất.

Markdown là một JAWL (chỉ là một ngôn ngữ wiki khác)

Có rất nhiều wiki nguồn mở ngoài kia mà bạn có thể kiểm tra mã của trình phân tích cú pháp. Hầu hết sử dụng REGEX

Kiểm tra wiki vít, có một đường dẫn định dạng nhiều lượt thú vị, một kỹ thuật rất hay - xem /core/Formatter.cs và /core/FormatterPipeline.cs

Tốt nhất là sử dụng / tham gia một dự án hiện có, những thứ này luôn khó hơn nhiều so với chúng xuất hiện

Tại đây bạn có thể tìm thấy triển khai JavaScript của Markdown. Nó cũng phụ thuộc rất nhiều vào các biểu thức thông thường, vì đây chỉ là cách nhanh nhất và dễ nhất để phân tích văn bản.

Nhưng nó bỏ qua phần MD5.

Tôi không thể giúp trực tiếp với việc mã hóa phân tích cú pháp, nhưng có lẽ liên kết này có thể giúp bạn bằng cách này hay cách khác.