Làm thế nào để bạn quản lý kỳ vọng trong công việc?


22

Với tất cả những hoopla xung quanh Khoa học dữ liệu, Học máy và tất cả các câu chuyện thành công xung quanh, có rất nhiều điều hợp lý, cũng như tràn đầy, kỳ vọng từ các nhà khoa học dữ liệu và mô hình dự đoán của họ.

Câu hỏi của tôi đối với các nhà thống kê, chuyên gia về Machine Learning và Nhà khoa học dữ liệu là - làm thế nào để bạn quản lý kỳ vọng từ các doanh nhân trong công ty của bạn, đặc biệt là liên quan đến độ chính xác dự đoán của các mô hình? Nói một cách tầm thường, nếu mô hình tốt nhất của bạn chỉ có thể đạt được độ chính xác 90% và quản lý cấp trên mong đợi không dưới 99%, làm thế nào để bạn xử lý các tình huống như thế này?


1
Câu hỏi hay! Nhưng tôi nên là một wiki cộng đồng mà tôi cho là
Alexey Grigorev

1
Câu hỏi hay. Ở đó, thực hiện (và làm) rằng: D
Dawny33

Câu trả lời:


11

Những người kinh doanh hợp lý không trả tiền cho sự chính xác, họ trả tiền cho một trong hai

  • tiết kiệm tiền cho một quy trình có lợi nhuận (từ đó làm cho nó có lợi hơn) hoặc bằng cách
  • tạo tiền mới (tạo ra các quy trình có lợi nhuận mới).

Vì vậy, bất kỳ dự án nào được thực hiện đều phải được thực hiện theo các điều khoản phản ánh điều này. Bước đầu tiên là luôn hiểu quá trình nào trong hai quy trình bạn đang thực hiện và bạn nên có một ý tưởng rõ ràng về cách thức có thể đạt được, trong khi hãy nhớ rằng khi bạn tiến bộ các chi tiết về cách bạn làm điều đó có thể thay đổi.

Nếu bạn có thể cải thiện tính chính xác của một quy trình, có lẽ bạn có thể kiếm tiền cho công ty và những người kinh doanh sẽ đầu tư vào tiến trình của bạn. Lý do hợp lý duy nhất mà một doanh nhân có thể có để khẳng định độ chính xác 99% và từ chối 90% là nếu họ đã có cách làm tốt hơn 90%. Nếu đó là trường hợp họ tất nhiên được biện minh ở vị trí của họ.

Hiểu và trình bày trường hợp kinh doanh của các dự án bạn đang thực hiện theo thuật ngữ mà Người kinh doanh hiểu là một phần của quá trình trưởng thành của bất kỳ Kỹ sư nào. Nó hoàn toàn không phải là Khoa học dữ liệu, mặc dù Khoa học dữ liệu có một số khía cạnh độc đáo (như độ chín thấp hơn nhưng xác suất phát hiện tình trạng ngẫu nhiên cao hơn - ít nhất là trong môi trường ngày nay.

Một quy trình có liên quan gần với Khoa học dữ liệu làm cho bước này rõ ràng có thể được tìm thấy ở đây: https://en.wikipedia.org/wiki/Cross_Industry_Stiteria_Process_for_Data_Mining

Nhưng hầu hết các Khung kiến ​​trúc doanh nghiệp đều được áp dụng tương tự.


1
Hoàn thành tốt Câu trả lời của bạn loại phân định kỳ vọng từ thực tế. Bravo!
không có tiêu đề

Điều kỳ lạ là upvote ở đây đã không đăng ký theo quan điểm của tôi.
Mike Wise

10

Tập hợp các đối tác cạnh tranh. Hãy thử và xác định một công nghệ hiện đại và xem các mô hình của bạn so sánh với điều đó như thế nào. Nó cũng phụ thuộc rất nhiều vào thời gian nhóm của bạn đã làm việc với nó. Các mô hình hướng đến khoa học không được tạo ra một cách tĩnh, chúng phát triển linh hoạt bởi vì một nhà khoa học giỏi sẽ luôn cố gắng tìm cách cải thiện nó.

Nhân viên quản lý cấp trên nên biết rằng một nhà khoa học dữ liệu khám phá các phương pháp mới , đôi khi / thường xuyên mà không biết chất lượng của chúng. Họ nên biết rằng các kỹ thuật học máy không tạo ra các mô hình hoàn hảo ngay lập tức. Nếu họ đã làm, nó sẽ không phải là thách thức nào.

Một nhà khoa học dữ liệu nên được đánh giá bằng cách anh ta biện minh và thảo luận về kết quả của mình và cách anh ta lên kế hoạch cho tương lai. Một cách để nhân viên quản lý xử lý với mong đợi của họ là không có những người cao một cách phi thực tế.

Tuy nhiên, nếu kết quả hợp lý được mong đợi trong lĩnh vực bối cảnh, hãy nghĩ về những câu hỏi sau:

  1. Đã / sẽ có kết quả tốt hơn theo thời gian?
  2. Là kỳ vọng tương lai tích cực?
  3. Kết quả tốt như thế nào so với các hệ thống tương tự (từ đối thủ cạnh tranh)?

5

Tôi thích câu hỏi này bởi vì nó nhận được ở chính trị tồn tại trong mọi tổ chức. Theo quan điểm của tôi và ở một mức độ đáng kể, kỳ vọng về hiệu suất mô hình là một chức năng của văn hóa tổ chức và mức độ mà một tổ chức "biết chữ về mặt kỹ thuật". Một cách để làm rõ ý tôi muốn nói là xem xét sự khác biệt giữa 4 thực thể "khoa học dữ liệu" lớn - Google, FB, Amazon và Yahoo - so với 4 thực thể lớn đang nắm giữ - WPP, Omnicon, Interbrand và Publicis. Google, et al, rất biết chữ. Các cơ quan, mặt khác, được biết là nghiêng về ám ảnh công nghệ. Bằng chứng cho việc này là gì? Trước hết, nhóm kiến ​​thức kỹ thuật được thành lập hoặc được điều hành bởi các kỹ sư, nhà khoa học máy tính, chuyên viên máy tính và những người có nền tảng công nghệ mạnh mẽ. Ai điều hành các công ty mù chữ công nghệ? Các nhà tiếp thị đã nổi lên nhờ vào kỹ năng giao tiếp và con người mềm mại của họ. Và không chỉ vậy, khi làm việc tại một số cửa hàng ở NYC này, tôi có thể làm chứng rằng các tổ chức này trừng phạt một cách có hệ thống và / hoặc đẩy ra các loại hiểu biết kỹ thuật cao là không "phù hợp" với văn hóa. Tiếp theo, hãy xem xét giới hạn thị trường tổng hợp (chứng khoán) của họ, Nhóm biết chữ công nghệ tăng thêm khoảng 800 tỷ đô la trong khi nhóm mù chữ công nghệ lên tới 80 tỷ. Các thực thể biết chữ công nghệ lớn hơn 10 lần so với những người khác trong giới hạn thị trường. Đây là một tuyên bố rõ ràng về kỳ vọng của thị trường và nó không cao đối với người mù chữ. Vì vậy, bằng cách ngoại suy, bạn có thể có loại hy vọng nào để thách thức những kỳ vọng "chính xác dự đoán" của các bozos như thế này? đã làm việc tại một số cửa hàng ở NYC, tôi có thể làm chứng rằng các tổ chức này trừng phạt một cách có hệ thống và / hoặc đẩy ra các loại hiểu biết kỹ thuật cao là không "phù hợp" với văn hóa. Tiếp theo, hãy xem xét giới hạn thị trường tổng hợp (chứng khoán) của họ, Nhóm biết chữ công nghệ tăng thêm khoảng 800 tỷ đô la trong khi nhóm mù chữ công nghệ lên tới 80 tỷ. Các thực thể biết chữ công nghệ lớn hơn 10 lần so với những người khác trong giới hạn thị trường. Đây là một tuyên bố rõ ràng về kỳ vọng của thị trường và nó không cao đối với người mù chữ. Vì vậy, bằng cách ngoại suy, bạn có thể có loại hy vọng nào để thách thức những kỳ vọng "chính xác dự đoán" của các bozos như thế này? đã làm việc tại một số cửa hàng ở NYC, tôi có thể làm chứng rằng các tổ chức này trừng phạt một cách có hệ thống và / hoặc đẩy ra các loại hiểu biết kỹ thuật cao là không "phù hợp" với văn hóa. Tiếp theo, hãy xem xét giới hạn thị trường tổng hợp (chứng khoán) của họ, Nhóm biết chữ công nghệ tăng thêm khoảng 800 tỷ đô la trong khi nhóm mù chữ công nghệ lên tới 80 tỷ. Các thực thể biết chữ công nghệ lớn hơn 10 lần so với những người khác trong giới hạn thị trường. Đây là một tuyên bố rõ ràng về kỳ vọng của thị trường và nó không cao đối với người mù chữ. Vì vậy, bằng cách ngoại suy, bạn có thể có loại hy vọng nào để thách thức những kỳ vọng "chính xác dự đoán" của các bozos như thế này? xem xét giới hạn thị trường tổng hợp (chứng khoán) của họ, Nhóm biết chữ công nghệ tăng thêm khoảng 800 tỷ đô la trong khi nhóm mù chữ công nghệ lên tới 80 tỷ. Các thực thể biết chữ công nghệ lớn hơn 10 lần so với những người khác trong giới hạn thị trường. Đây là một tuyên bố rõ ràng về kỳ vọng của thị trường và nó không cao đối với người mù chữ. Vì vậy, bằng cách ngoại suy, bạn có thể có loại hy vọng nào để thách thức những kỳ vọng "chính xác dự đoán" của các bozos như thế này? xem xét giới hạn thị trường tổng hợp (chứng khoán) của họ, Nhóm biết chữ công nghệ tăng thêm khoảng 800 tỷ đô la trong khi nhóm mù chữ công nghệ lên tới 80 tỷ. Các thực thể biết chữ công nghệ lớn hơn gấp 10 lần so với những người khác trong giới hạn thị trường. Đây là một tuyên bố rõ ràng về kỳ vọng của thị trường và nó không cao đối với người mù chữ. Vì vậy, bằng cách ngoại suy, bạn có thể có loại hy vọng nào để thách thức những kỳ vọng "chính xác dự đoán" của các bozos như thế này?

Vì vậy, với sự đột phá về văn hóa và tùy thuộc vào nơi bạn rơi, bạn nên có ít nhiều kỳ vọng thực tế. Tất nhiên, các thực thể "mù chữ công nghệ" khác nhau sẽ có những người quản lý biết họ đang làm gì, nhưng phần lớn, những thực thể này bị chi phối bởi sự ngu ngốc của mẫu số chung thấp nhất trong các kỹ năng công nghệ, tức là những người có kỹ thuật tốt nhất bán biết chữ (và nguy hiểm) hoặc, thông thường hơn, hoàn toàn bẩm sinh nhưng không biết điều đó. Trường hợp cụ thể, tôi đã làm việc cho một anh chàng muốn những từ như "tương quan" được chau chuốt từ sàn c-suite. Đây là một trường hợp cực đoan: sau tất cả, mọi thư ký đều biết "tương quan" là gì.

Điều này đặt ra vấn đề làm thế nào một người đối phó với sự ngây thơ và bẩm sinh điên cuồng khi họ hỏi một câu hỏi thực sự ngớ ngẩn như, "Tại sao bạn không nhận được độ chính xác dự đoán 99%?" Một câu trả lời tốt là trả lời bằng một câu hỏi như: "Tại sao bạn lại cho rằng một PA cao bất hợp lý như vậy thậm chí có thể?" Một cách khác có thể là, "Bởi vì nếu tôi thực sự có 99% PA, tôi sẽ cho rằng mình đã làm gì đó sai." Điều này rất có thể đúng, ngay cả với 90% PA.

Có một câu hỏi cơ bản hơn về sự nhấn mạnh vào PA là tiêu chí duy nhất cho giá trị mô hình. Leo Breiman quá cố đã để lại nhiều dấu chân trên cộng đồng người mẫu thống kê và dự đoán trong đó PA là một. Mối quan tâm hàng đầu của ông với PA là giải quyết nhiều lời chỉ trích được đưa ra trong những năm 90 liên quan đến sự không ổn định và lỗi cố hữu khi chạy một cây GIỎI. Giải pháp của ông là thúc đẩy các khu rừng ngẫu nhiên trên mạng khác như một phương pháp gần đúng và tạm thời nhằm tối đa hóa độ chính xác và giảm sự mất ổn định bằng cách loại bỏ cấu trúc cây. Ông đã điểm chuẩn MSE thấp hơn từ ~ 1.000 mô hình nhỏ RF RF lặp đi lặp lại chống lại lỗi từ một mô hình hồi quy logistic duy nhất. Vấn đề duy nhất là anh ta không bao giờ bận tâm khi đề cập đến những quả táo sáng chói để so sánh cam:

Giải thưởng Netflix năm 2008 đã mang lại một phần thưởng tiền tệ lớn cho bất kỳ nhà thống kê hoặc nhóm nào có thể cải thiện MSE của hệ thống đề xuất của họ. Vào thời điểm đó, Netflix đã chi 150 triệu đô la một năm cho hệ thống này, tin chắc rằng các chi phí đã được phục hồi nhiều hơn trong lòng trung thành của khách hàng và mua các bộ phim mà nếu không bao giờ được chọn. Những người chiến thắng cuối cùng đã sử dụng một nhóm gồm 107 mô hình khác nhau.

Tuy nhiên, như Netflix đã học được, vấn đề thực sự là, từ góc độ chi phí được nạp đầy đủ, sự cải thiện thực tế về lỗi so với mô hình hiện tại của họ chỉ là giảm 0,005% trong xếp hạng 5 điểm. Chưa kể rằng chi phí CNTT kịp thời, nâng hạng nặng và bảo trì bộ đồng phục chiến thắng của 107 mô hình nhiều hơn vô hiệu hóa bất kỳ lợi ích nào từ việc giảm lỗi. Vì điều này, Netflix cuối cùng đã từ bỏ sự theo đuổi của MSE và không có thêm giải thưởng Netflix nào được trao

Và đây là vấn đề: giảm thiểu lỗi dự đoán có thể dễ dàng bị đánh cắp hoặc bị hack và dễ bị lừa đảo phân tích (nghĩa là tìm một giải pháp tôn vinh các kỹ năng mô hình của nhà phân tích, tác động tích cực đến phần thưởng cuối năm tiềm năng của anh ta). Hơn nữa, nó là một giải pháp thống kê hoàn toàn và mục tiêu đặt ra trong khoảng trống kinh tế và kinh doanh. Số liệu này cung cấp ít hoặc không xem xét các chi phí phụ trợ, tài sản thế chấp - hậu quả hoạt động rất thực được đánh giá từ A đến Z, là một phần không thể thiếu của bất kỳ quy trình ra quyết định dựa trên sự đánh đổi đầy đủ nào.

Điều này đã trở thành một trong những vấn đề được nhúng trong các tổ chức và rất, rất khó thay đổi. Nói cách khác, tôi hoàn toàn nhận thức được rằng tôi đang nghiêng về cối xay gió với câu nói này về những lời cảnh báo với việc sử dụng PA.

Licensed under cc by-sa 3.0 with attribution required.