Tại sao các công ty internet thích Java / Python cho công việc nhà khoa học dữ liệu?

Tôi thấy rất nhiều lần trong mô tả công việc cho nhà khoa học dữ liệu yêu cầu trải nghiệm Python / Java và bỏ qua R. Dưới đây là email cá nhân tôi nhận được từ nhà khoa học dữ liệu chính của một công ty tôi đã đăng ký thông qua Linkedin.

X, Cảm ơn bạn đã kết nối và bày tỏ sự quan tâm. Bạn có Kỹ năng phân tích tốt. Tuy nhiên, tất cả các nhà khoa học dữ liệu của chúng tôi phải có kỹ năng lập trình tốt về Java / Python vì chúng tôi là một tổ chức internet / di động và mọi thứ chúng tôi làm đều trực tuyến.

Trong khi tôi tôn trọng quyết định của nhà khoa học dữ liệu trưởng, tôi không thể có được một bức tranh rõ ràng về những nhiệm vụ mà Python có thể làm mà R không thể làm. Bất cứ ai có thể quan tâm để xây dựng? Tôi thực sự muốn học Python / Java, miễn là tôi có thêm một chút chi tiết.

Chỉnh sửa: Tôi tìm thấy một cuộc thảo luận thú vị trên Quora. Tại sao Python là ngôn ngữ được lựa chọn cho các nhà khoa học dữ liệu?

Edit2: Blog từ Udacity về Ngôn ngữ và Thư viện cho Machine Learning

Vì vậy, bạn có thể tích hợp với phần còn lại của cơ sở mã. Có vẻ như công ty của bạn sử dụng hỗn hợp Java và python. Bạn sẽ làm gì nếu một góc nhỏ của trang web cần học máy; truyền dữ liệu xung quanh với cơ sở dữ liệu hoặc bộ đệm, thả xuống R, v.v. Tại sao không làm tất cả trong cùng một ngôn ngữ? Nó nhanh hơn, sạch hơn và dễ bảo trì hơn.

Biết bất kỳ công ty trực tuyến nào chỉ chạy trên R? Tôi cũng không...

Tất cả những gì đã nói Java là ngôn ngữ cuối cùng tôi làm khoa học dữ liệu.

Có thể có rất nhiều lý do như:

1. Linh hoạt lực lượng lao động: Một lập trình viên Java / Python có thể được chuyển sang các nhiệm vụ hoặc dự án khác một cách dễ dàng.

2. Ứng viên sẵn có: có rất nhiều lập trình viên Java / Python. Bạn không muốn giới thiệu một ngôn ngữ lập trình mới để sau đó phát hiện ra rằng không có nhân viên có trình độ hoặc chúng quá đắt.

3. Tích hợp và ETL: Đôi khi nhận được dữ liệu với chất lượng phù hợp là phần khó nhất của dự án. Vì vậy, việc sử dụng cùng một ngôn ngữ với các hệ thống còn lại là điều tự nhiên.

4. Định nghĩa mô hình kinh doanh: Hầu hết các quy tắc kinh doanh và mô hình kinh doanh đã được viết bằng ngôn ngữ này.

5. Chỉ cần giữ mọi thứ đơn giản. Nó đã đủ khó để cập nhật với các công nghệ. Một cơ sở đa dạng của ngôn ngữ có thể hỗn loạn. R cho điều này, Ruby cho điều đó, Scala, Clojure, F #, Swift, Dart ... Họ có thể cần các máy chủ khác nhau, các đường dẫn khác nhau, một địa ngục để quản trị. Tất cả đều có IDE riêng với các công cụ và plugin (không phải lúc nào cũng miễn phí). Xem một số quan điểm của Bác Bob về lựa chọn ngôn ngữ và công nghệ mới

Vì vậy, ngay cả khi bạn có lợi thế năng suất 5% - 15% khi sử dụng R cho nhiệm vụ cụ thể, họ có thể thích một công cụ chỉ thực hiện công việc ngay cả khi không theo cách hiệu quả nhất.

Nói chung, đối với các bài tập thống kê và khoa học dữ liệu thuần túy, R cung cấp các data.tablecông cụ và phương pháp tốt nhất và nhanh nhất (đặc biệt là nếu sử dụng gói), nếu không thì sẽ nặng hơn khi thực hiện trong Python (mặc dù tôi cho rằng Python có nghĩa là Pandas ). Hầu hết các nhà khoa học dữ liệu thực tế sử dụng R để thực hiện các mô hình và tính toán của họ, hoặc chỉ để xem cách dữ liệu hoạt động.

Sau khi bài tập hoàn thành, đã đến lúc làm cho nó có sẵn cho những người còn lại phải sử dụng nó (tức là để triển khai); Để đạt được mục đích này, thông thường nên gửi mã bằng Python vì hai lý do chính:

1. Hầu hết các kiến ​​trúc được viết bằng Python hoặc thân thiện với Python, do đó sẽ dễ dàng thực hiện các mô hình được viết bằng ngôn ngữ đó.
2. Cú pháp và ngữ pháp R cực kỳ phức tạp. Bản thân tôi rất ủng hộ R hơn bất cứ điều gì khác nhưng phải thừa nhận rằng cú pháp không thực sự đơn giản và có một đường cong học tập rất được chọn.

Ở trên đã nói, vẫn đúng là người ta có thể dễ dàng dịch mã R sang bất kỳ ngôn ngữ nào khác, cung cấp các phương thức, thư viện và gói có sẵn (trong Python hầu hết đều như vậy, vì vậy không có vấn đề gì cả). Rất nhiều cơ sở hạ tầng và cơ sở dữ liệu hỗ trợ mã R cơ bản, do đó tính di động không thực sự là vấn đề, đặc biệt là nếu người ta chỉ phải gửi kết quả tính toán (đến phần mở rộng đó, không ai thực sự nhìn thấy mã bên dưới).

Java hầu như không được sử dụng cho chính khoa học dữ liệu thuần túy (mặc dù Đại học Stanford có một bộ thư viện NLP học máy được viết bằng Java, theo như tôi nhớ - nhưng vui lòng kiểm tra). Lý do duy nhất tại sao nó có thể được yêu cầu chỉ là phần còn lại của công ty sử dụng nó cho các phạm vi lớn và họ không muốn thay thế nó bằng một cái gì đó mới.

Tôi đã thấy khá nhiều công ty sử dụng tiêu đề Nhà khoa học dữ liệu cho các vai trò loại "Kỹ sư dữ liệu". Đặc biệt trong không gian dữ liệu lớn.

Nếu công ty đang sử dụng Hadoop hoặc một khung phân tán như Spark để thực hiện phân tích thì Java hoặc Python (hoặc có thể là Scala) sẽ là ngôn ngữ có ý nghĩa nhất.

Java

Tôi phải không đồng ý với các áp phích khác về câu hỏi java. Có một số cơ sở dữ liệu noQuery (như hadoop) mà người ta cần để viết các công việc mapreduce trong java . Bây giờ bạn có thể sử dụng HIVE để đạt được nhiều kết quả tương tự.

Con trăn

Cuộc tranh luận về python / R vẫn tiếp tục. Cả hai đều là ngôn ngữ có thể mở rộng, vì vậy có khả năng cả hai có thể có khả năng xử lý như nhau. Tôi chỉ biết R và kiến ​​thức về con trăn của tôi khá hời hợt. Nói như một chủ doanh nghiệp nhỏ, bạn muốn không có quá nhiều công cụ trong doanh nghiệp của mình nếu không sẽ có sự thiếu chiều sâu chung trong họ và khó khăn trong việc hỗ trợ họ. Tôi nghĩ rằng nó sẽ đi sâu vào kiến ​​thức công cụ trong nhóm. Nếu nhóm nghiên cứu tập trung vào python, thì việc thuê một nhà khoa học dữ liệu python khác sẽ có ý nghĩa khi họ có thể tham gia với cơ sở mã hiện tại và mã thử nghiệm lịch sử.

Ít nhất là đối với đội ngũ hiện tại của tôi (~ 80 nhà khoa học và kỹ sư dữ liệu), chúng tôi không có sở thích như vậy. Một nửa số nhà khoa học dữ liệu ở đây sử dụng R và một nửa khác sử dụng Python. Nhiều người có thể viết mã trong cả hai. Chúng tôi triển khai mã Python và R trong sản xuất.

Tôi không nghĩ bất kỳ nhà khoa học dữ liệu nào của chúng tôi sử dụng Java cả. Nếu họ cần xử lý dữ liệu lớn, họ có thể sử dụng SparkQuery hoặc PySpark. Nhóm kỹ thuật dữ liệu sử dụng kết hợp Java / Scala / Python / Go.

Nếu bạn là một trong số ít người làm dữ liệu trong một công ty nhỏ, tôi có thể hiểu tại sao họ yêu cầu một số kỹ năng ngôn ngữ nhất định để bạn có thể làm cả khoa học dữ liệu và kỹ thuật. Nhưng tbh, tôi nghĩ rằng hầu hết các công ty nhỏ sẽ không có dữ liệu đủ lớn để Python hoặc R không thể xử lý trong sản xuất.

Quan điểm của tôi với tư cách là một lập trình viên có mục đích chung với một chút kinh nghiệm R: R là tuyệt vời cho khoa học dữ liệu, nhưng nó hướng đến những người diễn giải dữ liệu theo cách thủ công. Nếu bạn muốn sử dụng kết quả cho một thứ gì đó tự động, bạn phải giao tiếp với thứ khác và điều đó sẽ khó thực hiện bằng ngôn ngữ cụ thể như R. Bạn có thể làm một trang web trong R không? Mặt khác, python đã sẵn sàng tạo ra các thư viện cho các công cụ xử lý dữ liệu và là ngôn ngữ lập trình cho mục đích chung không cản trở bạn làm bất cứ điều gì khác với nó. Đối với Java, nó tốt cho các dự án lập trình lớn với hàng trăm nghìn đến hàng triệu dòng mã. Nếu phần khoa học dữ liệu cần giao diện với điều đó, thì có thể có ý nghĩa để làm mọi thứ trong Java.

Rên rỉ ngẫu nhiên: Tại sao tôi phải đăng nhập riêng vào từng trang web StackExchange?

Các công cụ trong Python chỉ tốt hơn cộng đồng R. Ther R khá trì trệ trong khi cộng đồng Python đang phát triển rất nhanh. Đặc biệt là trong các công cụ cho Khoa học dữ liệu.
Ngoài ra Python hoạt động dễ dàng hơn với mọi thứ xung quanh nó. Bạn có thể dễ dàng cạo web, kết nối với cơ sở dữ liệu và như vậy. Điều đó làm cho việc tạo mẫu thực sự nhanh chóng.
Và nếu bạn có một nguyên mẫu hoạt động và quan tâm để làm cho nó nhanh hơn hoặc tích hợp nó vào quy trình làm việc của công ty, thì nó thường được triển khai lại trong Java.

R có một vài công cụ gọn gàng và trực quan hóa nhưng thật tuyệt vời khi xây dựng những thứ mới trong đó.