Các nhà khoa học dữ liệu có sử dụng Excel không?

Tôi sẽ coi mình là một nhà khoa học dữ liệu hành trình. Giống như hầu hết (tôi nghĩ), tôi đã tạo ra các biểu đồ đầu tiên của mình và thực hiện các tổng hợp đầu tiên của mình ở trường trung học và đại học, sử dụng Excel. Khi tôi học đại học, học phổ thông và ~ 7 năm kinh nghiệm làm việc, tôi nhanh chóng chọn ra những công cụ mà tôi coi là công cụ tiên tiến hơn, như SQL, R, Python, Hadoop, LaTeX, v.v.

Chúng tôi đang phỏng vấn cho vị trí nhà khoa học dữ liệu và một ứng cử viên tự quảng cáo mình là "nhà khoa học dữ liệu cao cấp" (một thuật ngữ rất ồn ào ngày nay) với hơn 15 năm kinh nghiệm. Khi được hỏi bộ công cụ ưa thích của anh ta là gì, anh ta trả lời rằng đó là Excel.

Tôi lấy điều này làm bằng chứng rằng anh ta không có kinh nghiệm như lý lịch của anh ta sẽ yêu cầu, nhưng không chắc chắn. Rốt cuộc, chỉ vì nó không phải là công cụ ưa thích của tôi, không có nghĩa nó không phải là người khác. Các nhà khoa học dữ liệu có kinh nghiệm sử dụng Excel? Bạn có thể cho rằng thiếu kinh nghiệm từ một người chủ yếu sử dụng Excel không?

Hầu hết những người không có kỹ thuật thường sử dụng Excel để thay thế cơ sở dữ liệu. Tôi nghĩ đó là sai nhưng có thể chịu đựng được. Tuy nhiên, một người được cho là có kinh nghiệm trong phân tích dữ liệu chỉ đơn giản là không thể sử dụng Excel làm công cụ chính của mình (không bao gồm nhiệm vụ rõ ràng là lần đầu tiên nhìn vào dữ liệu). Đó là bởi vì Excel không bao giờ dành cho loại phân tích đó và do hậu quả của việc này, rất dễ mắc lỗi trong Excel (điều đó không có nghĩa là không dễ mắc lỗi khác khi sử dụng các công cụ khác, nhưng Excel làm cho tình hình trở nên trầm trọng hơn.)

Để tóm tắt những gì Excel không có và là điều bắt buộc đối với mọi phân tích:

1. Khả năng sinh sản. Một phân tích dữ liệu cần phải được tái sản xuất.
2. Kiểm soát phiên bản. Tốt cho sự hợp tác và cũng tốt cho khả năng tái sản xuất. Thay vì sử dụng xls, hãy sử dụng csv (vẫn rất phức tạp và có nhiều trường hợp cạnh, nhưng hiện tại trình phân tích cú pháp csv khá tốt.)
3. Kiểm tra. Nếu bạn không có bài kiểm tra, mã của bạn bị hỏng. Nếu mã của bạn bị hỏng, phân tích của bạn tồi tệ hơn vô dụng.
4. Bảo trì.
5. Độ chính xác. Số chính xác, phân tích ngày chính xác, trong số những người khác thực sự thiếu Excel.

Nhiêu tai nguyên hơn:

Nhóm lợi ích rủi ro bảng tính châu Âu - Câu chuyện kinh dị

Bạn không nên sử dụng bảng tính cho công việc quan trọng (ý tôi là vậy)

Excel của Microsoft có thể là phần mềm nguy hiểm nhất trên hành tinh

Phá hủy dữ liệu của bạn bằng Excel với thủ thuật kỳ lạ này!

Bảng tính Excel rất khó để lấy đúng

Các nhà khoa học dữ liệu có kinh nghiệm sử dụng Excel?

Tôi đã thấy một số nhà khoa học dữ liệu có kinh nghiệm, những người sử dụng Excel - do sở thích của họ hoặc do đặc thù môi trường CNTT và kinh doanh tại nơi làm việc của họ (ví dụ: nhiều tổ chức tài chính sử dụng Excel làm công cụ chính của họ, ít nhất là để mô hình hóa). Tuy nhiên, tôi nghĩ rằng hầu hết các nhà khoa học dữ liệu có kinh nghiệm nhận ra nhu cầu sử dụng các công cụ, tối ưu cho các nhiệm vụ cụ thể và tuân thủ phương pháp này.

Bạn có thể cho rằng thiếu kinh nghiệm từ một người chủ yếu sử dụng Excel không?

Không, bạn không thể. Đây là hệ quả từ những suy nghĩ nêu trên của tôi. Khoa học dữ liệu không tự động ngụ ý dữ liệu lớn - có rất nhiều công việc khoa học dữ liệu mà Excel có thể xử lý khá tốt. Phải nói rằng, nếu một nhà khoa học dữ liệu (thậm chí có kinh nghiệm) không có kiến ​​thức (ít nhất là cơ bản) về các công cụ khoa học dữ liệu hiện đại, bao gồm cả những công cụ tập trung dữ liệu lớn, thì điều đó có phần đáng lo ngại. Điều này là do thử nghiệm đã ăn sâu vào bản chất của khoa học dữ liệu do phân tích dữ liệu khám phá là một điều thiết yếu và thậm chí, là một phần quan trọng của nó. Do đó, một người, không có nhu cầu khám phá các công cụ khác trong miền của họ, có thể xếp hạng thấp hơn trong số các ứng cử viên phù hợp với vị trí khoa học dữ liệu (tất nhiên, điều này khá mờ nhạt, vì một số người học rất nhanh vật liệu mới, cộng với,

Do đó, kết luận, tôi nghĩ rằng câu trả lời tốt nhất mà một nhà khoa học dữ liệu có kinh nghiệm có thể phải đặt ra cho câu hỏi liên quan đến công cụ ưa thích của họ là: Công cụ ưa thích của tôi là công cụ tối ưu, đó là công cụ phù hợp nhất với nhiệm vụ trong tay.

Tôi nghĩ rằng hầu hết mọi người đang trả lời mà không có kiến ​​thức tốt về excel. Excel (từ năm 2010) có cơ sở dữ liệu trong cột nhiều bộ nhớ, được gọi là trụ điện (cho phép nhập từ csv / cơ sở dữ liệu, v.v.), cho phép nó lưu trữ hàng triệu hàng (không phải tải trên bảng tính) . Nó cũng có một công cụ ETL gọi là truy vấn sức mạnh cho phép bạn đọc dữ liệu từ nhiều nguồn khác nhau (bao gồm cả hadoop). Và nó có một công cụ trực quan (power view & power map). Rất nhiều Khoa học dữ liệu đang thực hiện tổng hợp và phân tích top-n, tại đó công suất trục vượt trội. Thêm vào đó là bản chất tương tác của các công cụ này - bất kỳ người dùng nào cũng có thể dễ dàng kéo và thả thứ nguyên để chia nhỏ kết quả. Tôi hy vọng bạn có thể thấy các lợi ích. Vì vậy, có bạn không thể học máy,

Trong cuốn sách Data Smart, John Foreman giải quyết các vấn đề khoa học dữ liệu phổ biến (phân cụm, vịnh ngây thơ, phương pháp tập hợp, ...) bằng Excel. Thật vậy, thật tốt khi có một số kiến ​​thức về Python hoặc R nhưng tôi đoán Excel vẫn có thể hoàn thành phần lớn công việc!

Tôi ngạc nhiên khi có nhiều người gắn bó với sự mát mẻ của nghề nghiệp hơn là công việc thực tế phải làm. Excel là công cụ tuyệt vời, với PowerpOLL miễn phí, Powerquery, nó có thể làm được rất nhiều. (những thứ này không có sẵn trên OS X). Và nếu bạn biết VBA, bạn có thể làm một số thứ hay ho. Và sau đó, nếu bạn bổ sung kiến ​​thức về python, bạn có thể kết hợp các bước đầu tiên của việc trích xuất và thao tác dữ liệu với python và sau đó sử dụng excel, đặc biệt nếu bạn là người trực quan. Với excel bạn thực sự có thể kiểm tra dữ liệu tổng hợp trước khi đưa vào bất kỳ quy trình nào khác hoặc trực quan hóa. Nó là một công cụ phải có.

Excel chỉ cho phép dữ liệu rất nhỏ và không có bất kỳ thứ gì đủ hữu ích và linh hoạt cho việc học máy hoặc thậm chí chỉ là âm mưu. Tất cả những gì tôi sẽ làm trong Excel, là nhìn chằm chằm vào một tập hợp con của dữ liệu cho cái nhìn đầu tiên về các giá trị để đảm bảo tôi không bỏ lỡ bất cứ điều gì có thể nhìn thấy bằng mắt.

Vì vậy, nếu công cụ yêu thích của anh ấy là Excel, điều này có thể gợi ý anh ấy hiếm khi xử lý việc học máy, thống kê, kích thước dữ liệu lớn hơn hoặc bất kỳ âm mưu nâng cao nào. Một người như thế này tôi sẽ không gọi là Nhà khoa học dữ liệu. Tất nhiên tiêu đề không quan trọng và nó phụ thuộc rất nhiều vào yêu cầu của bạn.

Trong mọi trường hợp, đừng đưa ra đánh giá bằng tuyên bố kinh nghiệm hoặc CV. Tôi đã xem CV và biết những người đằng sau nó.

Đừng giả sử. Kiểm tra anh! Bạn nên đủ tốt để thiết lập một bài kiểm tra. Nó đã được chỉ ra rằng các cuộc phỏng vấn một mình gần như vô dụng để xác định các kỹ năng (chúng chỉ thể hiện tính cách). Thiết lập một bài kiểm tra học tập có giám sát rất đơn giản và cho phép anh ta sử dụng bất kỳ công cụ nào anh ta muốn.

Và nếu bạn muốn sàng lọc mọi người trong một cuộc phỏng vấn trước, hãy hỏi anh ta về những hiểu biết rất cơ bản nhưng quan trọng về thống kê hoặc học máy. Một cái gì đó mà mỗi nhân viên hiện tại của bạn biết.

Trước tiên hãy để tôi làm rõ rằng tôi đang bắt đầu hành trình của mình vào khoa học dữ liệu từ quan điểm của một lập trình viên và nhà phát triển cơ sở dữ liệu. Tôi không phải là một chuyên gia khoa học dữ liệu 10 năm cũng không phải là một vị thần thống kê. Tuy nhiên, tôi làm nhà khoa học dữ liệu và bộ dữ liệu lớn cho một công ty làm việc với các khách hàng khá lớn trên toàn thế giới.

Từ kinh nghiệm của tôi, nhà khoa học dữ liệu sử dụng bất kỳ công cụ nào họ cần để hoàn thành công việc. Excel, R, SAS, Python và nhiều hơn nữa là tất cả các công cụ trong hộp công cụ dành cho nhà khoa học dữ liệu tốt. Tốt nhất có thể sử dụng nhiều công cụ để phân tích và xử lý dữ liệu.

Do đó, nếu bạn thấy mình so sánh R với Python, thì có khả năng bạn đã làm sai tất cả trong thế giới khoa học dữ liệu. Nhà khoa học dữ liệu tốt sử dụng cả hai khi nó có ý nghĩa để sử dụng cái này hơn cái kia. Điều này cũng áp dụng cho Excel.

Tôi nghĩ rằng thật khó để tìm thấy bất cứ ai sẽ có kinh nghiệm trong rất nhiều công cụ và ngôn ngữ khác nhau trong khi mọi thứ đều tuyệt vời. Tôi cũng nghĩ rằng sẽ rất khó để tìm thấy nhà khoa học dữ liệu cụ thể không chỉ có thể lập trình các thuật toán phức tạp mà còn biết cách sử dụng chúng theo quan điểm thống kê.

Hầu hết các nhà khoa học dữ liệu tôi từng làm việc có khoảng 2 hương vị. Những người có thể lập trình và những người không thể. Tôi hiếm khi làm việc với nhà khoa học dữ liệu có thể lấy dữ liệu bằng Python, thao tác với dữ liệu giống như Pandas, khớp mô hình với dữ liệu trong R và sau đó trình bày nó cho quản lý vào cuối tuần.

Ý tôi là, tôi biết chúng tồn tại. Tôi đã đọc nhiều blog khoa học dữ liệu từ những kẻ phát triển web scrappers, đẩy nó vào Hadoop, kéo nó ra khỏi Python, lập trình những thứ phức tạp và chạy nó qua R để khởi động. Chúng tồn tại. Họ đang ở ngoài kia. Tôi đã không chạy vào quá nhiều có thể làm tất cả điều đó. Có lẽ đó chỉ là khu vực của tôi?

Vì vậy, điều đó có nghĩa là chỉ chuyên về một điều xấu? Không. Rất nhiều bạn bè của tôi chỉ chuyên về một ngôn ngữ chính và giết nó. Tôi biết nhiều kẻ dữ liệu chỉ biết R và giết nó. Tôi cũng biết nhiều người chỉ sử dụng Excel để phân tích dữ liệu vì đó là điều duy nhất mà hầu hết các nhà khoa học không có dữ liệu có thể mở và sử dụng (đặc biệt là trong các công ty B2B). Câu hỏi bạn thực sự cần trả lời là liệu điều này có phải là MỘT điều bạn cần cho vị trí này không? Và quan trọng nhất, họ có thể học những điều mới?

PS

Khoa học dữ liệu không chỉ giới hạn ở "BIG DATA" hoặc NoQuery.

Excel có thể là một công cụ tuyệt vời để phân tích dữ liệu khám phá, nó thực sự phụ thuộc vào nhu cầu của bạn và tất nhiên nó cũng có những hạn chế như bất kỳ công cụ nào, nhưng excel chắc chắn xứng đáng có một vị trí trong hội trường khoa học dữ liệu nổi tiếng.

Đáng nhớ là trong thực tế, hầu hết người dùng sẽ khám phá một tập dữ liệu bị giảm nhiều (dù được tạo từ truy vấn SQL).

Excel rất mạnh để khám phá dữ liệu khi bạn sử dụng đối tượng "bảng" kết hợp với các bảng trụ, trực quan hóa là tất cả 1-2 lần nhấp tối đa và rất nhiều biểu đồ excel trong powerpoint trông tuyệt vời, trừ khi bạn muốn tạo ra thứ gì đó rất riêng biệt, ví dụ như trong bối cảnh điện toán khoa học. Bản chất tương tác có nghĩa là bạn có thể khám phá nhanh chóng.

Lợi ích của đối tượng "bảng" là khi bạn chuyển đổi dữ liệu hơn nữa trong excel để cho phép bạn khám phá các bản phân phối mới, tất cả các bảng trụ đều ghi nhớ biến.

Trường hợp excel yếu là danh sách công thức bị hạn chế, ví dụ, một câu lệnh SQL hoặc trạng thái python linh hoạt hơn một chuỗi các hàm if vô tận.

Nó thực sự phụ thuộc vào nhu cầu của bạn nhưng excel chắc chắn xứng đáng có một vị trí trong hội trường khoa học dữ liệu của sự nổi tiếng.

Giai thoại thú vị, nhóm làm việc trên thuật toán newsfeed của Facebook hoàn toàn có thể được nhìn thấy đang chơi với excel và rất nhiều bảng tính.

Tôi dạy một khóa Phân tích kinh doanh bao gồm SQL và Excel. Tôi dạy trong một trường kinh doanh để học sinh của tôi không có khả năng kỹ thuật nhất, đó là lý do tại sao tôi không sử dụng thứ gì đó như R, Pandas hoặc Weka. Điều đó đang được nói, Excel là một công cụ đủ mạnh để sử dụng cho một số phân tích dữ liệu. Nó nhận được phần lớn sức mạnh này từ khả năng hoạt động như một giao diện người dùng cho Dịch vụ phân tích máy chủ SQL (một thành phần trong SQL Server để phân tích dữ liệu) bằng cách sử dụng bổ trợ khai thác dữ liệu.

SSAS cho phép bạn xây dựng các cây quyết định, thực hiện hồi quy tuyến tính và logistic, và thậm chí tạo các mạng bayes hoặc mạng nơ ron. Tôi đã thấy rằng sử dụng Excel làm giao diện người dùng là một cách tiếp cận ít đe dọa hơn để thực hiện các loại phân tích này vì tất cả chúng đều đã sử dụng Excel trước đây. Cách sử dụng SSAS mà không cần Excel là thông qua một phiên bản chuyên dụng của Visual Studio và đó không phải là công cụ thân thiện với người dùng nhất hiện có. Khi bạn kết hợp nó với một vài công cụ Excel khác như Power Query và Power Pivot, bạn có thể thực hiện một số phân tích dữ liệu khá phức tạp.

Tiết lộ đầy đủ, có lẽ tôi sẽ không sử dụng lại khi tôi dạy phiên bản mới của khóa học vào năm tới (chúng tôi chia nó thành hai khóa học để người ta có thể tập trung nhiều hơn vào phân tích dữ liệu). Nhưng đó chỉ là vì trường đại học có thể có đủ giấy phép cho Alterx, thứ thậm chí còn dễ sử dụng và mạnh mẽ hơn nhưng là $ 4-85k / người dùng / năm nếu bạn không thể nhận được nó miễn phí bằng cách nào đó. Nói những gì bạn sẽ về Excel, nhưng nó đánh bại mức giá đó.

Excel có thể là một công cụ tuyệt vời. Chắc chắn, tùy thuộc vào những gì bạn làm, nó có thể không phù hợp với dự luật nhưng nếu có, nó sẽ gần như là ngu ngốc khi loại bỏ nó. Mặc dù phải mất một thời gian để thiết lập đường ống dẫn của bạn, nhưng trong Excel, bạn có thể bắt đầu chạy khá nhiều: UI tích hợp, khả năng mở rộng dễ dàng thông qua VBA ngay cả với Python (ví dụ: https://www.xlwings.org ). Nó có thể không lý tưởng khi nói đến những thứ như kiểm soát phiên bản nhưng có nhiều cách để làm cho nó hoạt động với Git (ví dụ: https://www.xltrail.com/blog/auto-export-vba-commit-hook ).

Cá nhân này hoạt động với 'Dữ liệu lớn' và chủ yếu sử dụng Excel? Nghiêm túc?!?! Excel chỉ xử lý tối đa 1, 048, 576 hàng dữ liệu trong một bảng tính. Đối với các tập dữ liệu ngoài nó cần một plugin. Ngoài ra các bảng trụ trong Excel có các hạn chế nghiêm trọng đối với phân tích có thể được thực hiện bằng cách sử dụng chúng.

Những loại nhiệm vụ phân tích dữ liệu nào sẽ cần phải được thực hiện trong công việc mà bạn đang tuyển dụng?

Tôi đề nghị bạn tiến hành các cuộc phỏng vấn bao gồm các bài kiểm tra về loại nhiệm vụ sẽ cần phải được thực hiện trong công việc đang được xem xét. Không vi phạm tính bảo mật, quyền riêng tư hoặc bảo vệ dữ liệu, tác vụ lập trình hoặc phân tích dữ liệu được đặt làm một phần của cuộc phỏng vấn nên bao gồm một tập hợp con (giả danh) của một tập dữ liệu liên quan đến bài đăng đang được phỏng vấn. Nếu không, bạn có thể sẽ tuyển một người được nói rõ trong một cuộc phỏng vấn dựa trên cuộc trò chuyện nhưng không thực sự có năng lực trong việc thực hiện công việc thực tế.