Java hoặc Python để xử lý ngôn ngữ tự nhiên [đã đóng]

Tôi muốn biết ngôn ngữ lập trình nào tốt hơn để xử lý ngôn ngữ tự nhiên. Java hay Python ? Tôi đã tìm thấy rất nhiều câu hỏi và câu trả lời về nó. Nhưng tôi vẫn bị mất trong việc lựa chọn cái nào để sử dụng.

Và tôi muốn biết thư viện NLP nào để sử dụng cho Java vì có rất nhiều thư viện (LingPipe, GATE, OpenNLP, StandfordNLP). Đối với Python, hầu hết các lập trình viên khuyên dùng NLTK.

Nhưng nếu tôi phải thực hiện một số xử lý văn bản hoặc trích xuất thông tin từ dữ liệu không có cấu trúc (chỉ là văn bản tiếng Anh đơn giản được tạo hình tự do) để có được một số thông tin hữu ích, thì lựa chọn tốt nhất là gì? Java hay Python? Thư viện phù hợp?

Đã cập nhật

Những gì tôi muốn làm là trích xuất thông tin sản phẩm hữu ích từ dữ liệu phi cấu trúc (Ví dụ: người dùng thực hiện các hình thức quảng cáo khác nhau về điện thoại di động hoặc máy tính xách tay bằng tiếng Anh không chuẩn)

Java và Python cho NLP rất được ưu tiên hoặc cần thiết. Tùy thuộc vào công ty / dự án, bạn sẽ cần sử dụng cái này hay cái kia và thường không có nhiều sự lựa chọn trừ khi bạn đang hướng tới một dự án.

Ngoài NLTK(www.nltk.org), thực sự có các thư viện khác để xử lý văn bản trong python:

• TextBlob : http://textblob.readthedocs.org/en/dev/
• Gensim : http://radimrehurek.com/gensim/
• Mẫu : http://www.clips.ua.ac.be/pattern
• Spacy :: http://spacy.io
• Màu cam : http://orange.biolab.si/features/
• Dứa : https://github.com/proycon/pynlpl

(để biết thêm, hãy xem https://pypi.python.org/pypi?%3Aaction=search&term=natural+language+processing&submit=search )

Đối với Java, có rất nhiều người khác nhưng đây là một danh sách khác:

• Tự do : http://nlp.lsi.upc.edu/freeling/
• OpenNLP : http://opennlp.apache.org/
• LingPipe : http://alias-i.com/lingpipe/
• Stanford CoreNLP : http://stanfordnlp.github.io/CoreNLP/ (đi kèm với trình bao bọc cho các ngôn ngữ khác, bao gồm python)
• CogComp NLP : https://github.com/CogComp/cogcomp-nlp

Đây là một so sánh tốt để xử lý chuỗi cơ bản, hãy xem http://nltk.googlecode.com/svn/trunk/doc/howto/nlp-python.html

So sánh hữu ích giữa GATE vs UIMA và OpenNLP, hãy xem https://www.assembla.com/spaces/extraction-of-cost-data/wiki/Gate-vs-UIMA-vs-OpenNLP?version=4

Nếu bạn không chắc chắn đâu là ngôn ngữ sử dụng cho NLP, cá nhân tôi nói, "bất kỳ ngôn ngữ nào sẽ cung cấp cho bạn phân tích / đầu ra mong muốn", hãy xem Ngôn ngữ hoặc công cụ nào để học để xử lý ngôn ngữ tự nhiên?

Đây là một số công cụ NLP gần đây (2017): https://github.com/alvations/awesome-community-curated-nlp

Danh sách các công cụ NLP cũ hơn (2013): http://web.archive.org/web/20130703190201/http://yauhenklimovich.wordpress.com/2013/05/20/tools-nlp

Ngoài các công cụ xử lý ngôn ngữ, bạn sẽ rất cần machine learning các công cụ để kết hợp vào NLPđường ống.

Có cả một phạm vi trong Python và Javavà một lần nữa, tùy thuộc vào sở thích và liệu các thư viện có đủ thân thiện với người dùng hay không:

Thư viện Học máy trong python:

• Sklearn (Scikit-learning): http://scikit-learn.org/stable/
• Sữa : http://luispedro.org/software/milk
• Scipy : http://www.scipy.org/
• Theano : http://deeplearning.net/software/theano/
• PyML : http://pyml.sourceforge.net/
• pyBrain : http://pybrain.org/
• Graphlab Create (Commerical tool nhưng có giấy phép học thuật miễn phí trong 1 năm): https://dato.com/products/create/

(để biết thêm, hãy xem https://pypi.python.org/pypi?%3Aaction=search&term=machine+learning&submit=search )

• Weka : http://www.cs.waikato.ac.nz/ml/weka/index.html
• Vồ : http://mallet.cs.umass.edu/
• Mahout : https://mahout.apache.org/

Với trận sóng thần học sâu (2015) gần đây trong NLP , bạn có thể cân nhắc: https://en.wikipedia.org/wiki/Comparison_of_deep_learning_software

Tôi sẽ tránh liệt kê các công cụ học sâu ra khỏi chủ nghĩa không thiên vị / trung lập.

Các câu hỏi Stackoverflow khác cũng yêu cầu cho các công cụ NLP / ML:

• Học máy và xử lý ngôn ngữ tự nhiên
• Những người quan tâm đến xử lý ngôn ngữ tự nhiên có những điểm khởi đầu tốt nào?
• Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên trong Java (NLP)
• Có thư viện xử lý ngôn ngữ tự nhiên tốt không
• Khởi động xử lý ngôn ngữ tự nhiên đơn giản cho Java
• Thư viện nào cung cấp các phương pháp NLP cơ bản hoặc nâng cao?
• Những ngôn ngữ hay và sách mới nhất về Xử lý ngôn ngữ tự nhiên, kiến ​​thức cơ bản
• (Đối với NER) Trích xuất / Nhận dạng Thực thể bằng các công cụ miễn phí trong khi cung cấp Chỉ số Lucene
• (Với PHP) Các công cụ lập trình NLP sử dụng PHP?
• (Với Ruby) /programming/3776361/ruby-nlp-libraries

Câu hỏi rất mở đã kết thúc. Điều đó nói rằng, thay vì chọn một, dưới đây là một so sánh tùy thuộc vào ngôn ngữ mà bạn muốn sử dụng (vì có những thư viện tốt có sẵn cho cả hai ngôn ngữ).

Python

Về Python, nơi đầu tiên bạn nên xem là Bộ công cụ ngôn ngữ tự nhiên Python . Như họ lưu ý trong phần mô tả, NLTK là nền tảng hàng đầu để xây dựng các chương trình Python để hoạt động với dữ liệu ngôn ngữ của con người. Nó cung cấp giao diện dễ sử dụng cho hơn 50 tài nguyên ngữ liệu và từ vựng như Mạng từ, cùng với một bộ thư viện xử lý văn bản để phân loại, mã hóa, tạo gốc, gắn thẻ, phân tích cú pháp và lập luận ngữ nghĩa.

Ngoài ra còn có một số mã tuyệt vời mà bạn có thể tra cứu có nguồn gốc từ dự án Bộ công cụ ngôn ngữ tự nhiên của Google dựa trên Python. Bạn có thể tìm thấy liên kết đến mã đó tại đây trên GitHub .

Java

Nơi đầu tiên cần tìm sẽ là Nhóm Xử lý Ngôn ngữ Tự nhiên của Stanford . Tất cả phần mềm được phân phối ở đó đều được viết bằng Java. Tất cả các bản phân phối gần đây đều yêu cầu Oracle Java 6+ hoặc OpenJDK 7+. Các gói phân phối bao gồm các thành phần cho lệnh gọi dòng lệnh, tệp jar, API Java và mã nguồn.

Một lựa chọn tuyệt vời khác mà bạn thấy trong nhiều môi trường máy học ở đây (tùy chọn chung), là Weka . Weka là một tập hợp các thuật toán học máy cho các tác vụ khai thác dữ liệu. Các thuật toán có thể được áp dụng trực tiếp vào tập dữ liệu hoặc được gọi từ mã Java của riêng bạn. Weka chứa các công cụ để xử lý trước dữ liệu, phân loại, hồi quy, phân cụm, quy tắc kết hợp và trực quan hóa. Nó cũng rất phù hợp để phát triển các chương trình máy học mới.