Tôi thích câu hỏi này bởi vì nó nhận được ở chính trị tồn tại trong mọi tổ chức. Theo quan điểm của tôi và ở một mức độ đáng kể, kỳ vọng về hiệu suất mô hình là một chức năng của văn hóa tổ chức và mức độ mà một tổ chức "biết chữ về mặt kỹ thuật". Một cách để làm rõ ý tôi muốn nói là xem xét sự khác biệt giữa 4 thực thể "khoa học dữ liệu" lớn - Google, FB, Amazon và Yahoo - so với 4 thực thể lớn đang nắm giữ - WPP, Omnicon, Interbrand và Publicis. Google, et al, rất biết chữ. Các cơ quan, mặt khác, được biết là nghiêng về ám ảnh công nghệ. Bằng chứng cho việc này là gì? Trước hết, nhóm kiến thức kỹ thuật được thành lập hoặc được điều hành bởi các kỹ sư, nhà khoa học máy tính, chuyên viên máy tính và những người có nền tảng công nghệ mạnh mẽ. Ai điều hành các công ty mù chữ công nghệ? Các nhà tiếp thị đã nổi lên nhờ vào kỹ năng giao tiếp và con người mềm mại của họ. Và không chỉ vậy, khi làm việc tại một số cửa hàng ở NYC này, tôi có thể làm chứng rằng các tổ chức này trừng phạt một cách có hệ thống và / hoặc đẩy ra các loại hiểu biết kỹ thuật cao là không "phù hợp" với văn hóa. Tiếp theo, hãy xem xét giới hạn thị trường tổng hợp (chứng khoán) của họ, Nhóm biết chữ công nghệ tăng thêm khoảng 800 tỷ đô la trong khi nhóm mù chữ công nghệ lên tới 80 tỷ. Các thực thể biết chữ công nghệ lớn hơn 10 lần so với những người khác trong giới hạn thị trường. Đây là một tuyên bố rõ ràng về kỳ vọng của thị trường và nó không cao đối với người mù chữ. Vì vậy, bằng cách ngoại suy, bạn có thể có loại hy vọng nào để thách thức những kỳ vọng "chính xác dự đoán" của các bozos như thế này? đã làm việc tại một số cửa hàng ở NYC, tôi có thể làm chứng rằng các tổ chức này trừng phạt một cách có hệ thống và / hoặc đẩy ra các loại hiểu biết kỹ thuật cao là không "phù hợp" với văn hóa. Tiếp theo, hãy xem xét giới hạn thị trường tổng hợp (chứng khoán) của họ, Nhóm biết chữ công nghệ tăng thêm khoảng 800 tỷ đô la trong khi nhóm mù chữ công nghệ lên tới 80 tỷ. Các thực thể biết chữ công nghệ lớn hơn 10 lần so với những người khác trong giới hạn thị trường. Đây là một tuyên bố rõ ràng về kỳ vọng của thị trường và nó không cao đối với người mù chữ. Vì vậy, bằng cách ngoại suy, bạn có thể có loại hy vọng nào để thách thức những kỳ vọng "chính xác dự đoán" của các bozos như thế này? đã làm việc tại một số cửa hàng ở NYC, tôi có thể làm chứng rằng các tổ chức này trừng phạt một cách có hệ thống và / hoặc đẩy ra các loại hiểu biết kỹ thuật cao là không "phù hợp" với văn hóa. Tiếp theo, hãy xem xét giới hạn thị trường tổng hợp (chứng khoán) của họ, Nhóm biết chữ công nghệ tăng thêm khoảng 800 tỷ đô la trong khi nhóm mù chữ công nghệ lên tới 80 tỷ. Các thực thể biết chữ công nghệ lớn hơn 10 lần so với những người khác trong giới hạn thị trường. Đây là một tuyên bố rõ ràng về kỳ vọng của thị trường và nó không cao đối với người mù chữ. Vì vậy, bằng cách ngoại suy, bạn có thể có loại hy vọng nào để thách thức những kỳ vọng "chính xác dự đoán" của các bozos như thế này? xem xét giới hạn thị trường tổng hợp (chứng khoán) của họ, Nhóm biết chữ công nghệ tăng thêm khoảng 800 tỷ đô la trong khi nhóm mù chữ công nghệ lên tới 80 tỷ. Các thực thể biết chữ công nghệ lớn hơn 10 lần so với những người khác trong giới hạn thị trường. Đây là một tuyên bố rõ ràng về kỳ vọng của thị trường và nó không cao đối với người mù chữ. Vì vậy, bằng cách ngoại suy, bạn có thể có loại hy vọng nào để thách thức những kỳ vọng "chính xác dự đoán" của các bozos như thế này? xem xét giới hạn thị trường tổng hợp (chứng khoán) của họ, Nhóm biết chữ công nghệ tăng thêm khoảng 800 tỷ đô la trong khi nhóm mù chữ công nghệ lên tới 80 tỷ. Các thực thể biết chữ công nghệ lớn hơn gấp 10 lần so với những người khác trong giới hạn thị trường. Đây là một tuyên bố rõ ràng về kỳ vọng của thị trường và nó không cao đối với người mù chữ. Vì vậy, bằng cách ngoại suy, bạn có thể có loại hy vọng nào để thách thức những kỳ vọng "chính xác dự đoán" của các bozos như thế này?
Vì vậy, với sự đột phá về văn hóa và tùy thuộc vào nơi bạn rơi, bạn nên có ít nhiều kỳ vọng thực tế. Tất nhiên, các thực thể "mù chữ công nghệ" khác nhau sẽ có những người quản lý biết họ đang làm gì, nhưng phần lớn, những thực thể này bị chi phối bởi sự ngu ngốc của mẫu số chung thấp nhất trong các kỹ năng công nghệ, tức là những người có kỹ thuật tốt nhất bán biết chữ (và nguy hiểm) hoặc, thông thường hơn, hoàn toàn bẩm sinh nhưng không biết điều đó. Trường hợp cụ thể, tôi đã làm việc cho một anh chàng muốn những từ như "tương quan" được chau chuốt từ sàn c-suite. Đây là một trường hợp cực đoan: sau tất cả, mọi thư ký đều biết "tương quan" là gì.
Điều này đặt ra vấn đề làm thế nào một người đối phó với sự ngây thơ và bẩm sinh điên cuồng khi họ hỏi một câu hỏi thực sự ngớ ngẩn như, "Tại sao bạn không nhận được độ chính xác dự đoán 99%?" Một câu trả lời tốt là trả lời bằng một câu hỏi như: "Tại sao bạn lại cho rằng một PA cao bất hợp lý như vậy thậm chí có thể?" Một cách khác có thể là, "Bởi vì nếu tôi thực sự có 99% PA, tôi sẽ cho rằng mình đã làm gì đó sai." Điều này rất có thể đúng, ngay cả với 90% PA.
Có một câu hỏi cơ bản hơn về sự nhấn mạnh vào PA là tiêu chí duy nhất cho giá trị mô hình. Leo Breiman quá cố đã để lại nhiều dấu chân trên cộng đồng người mẫu thống kê và dự đoán trong đó PA là một. Mối quan tâm hàng đầu của ông với PA là giải quyết nhiều lời chỉ trích được đưa ra trong những năm 90 liên quan đến sự không ổn định và lỗi cố hữu khi chạy một cây GIỎI. Giải pháp của ông là thúc đẩy các khu rừng ngẫu nhiên trên mạng khác như một phương pháp gần đúng và tạm thời nhằm tối đa hóa độ chính xác và giảm sự mất ổn định bằng cách loại bỏ cấu trúc cây. Ông đã điểm chuẩn MSE thấp hơn từ ~ 1.000 mô hình nhỏ RF RF lặp đi lặp lại chống lại lỗi từ một mô hình hồi quy logistic duy nhất. Vấn đề duy nhất là anh ta không bao giờ bận tâm khi đề cập đến những quả táo sáng chói để so sánh cam:
Giải thưởng Netflix năm 2008 đã mang lại một phần thưởng tiền tệ lớn cho bất kỳ nhà thống kê hoặc nhóm nào có thể cải thiện MSE của hệ thống đề xuất của họ. Vào thời điểm đó, Netflix đã chi 150 triệu đô la một năm cho hệ thống này, tin chắc rằng các chi phí đã được phục hồi nhiều hơn trong lòng trung thành của khách hàng và mua các bộ phim mà nếu không bao giờ được chọn. Những người chiến thắng cuối cùng đã sử dụng một nhóm gồm 107 mô hình khác nhau.
Tuy nhiên, như Netflix đã học được, vấn đề thực sự là, từ góc độ chi phí được nạp đầy đủ, sự cải thiện thực tế về lỗi so với mô hình hiện tại của họ chỉ là giảm 0,005% trong xếp hạng 5 điểm. Chưa kể rằng chi phí CNTT kịp thời, nâng hạng nặng và bảo trì bộ đồng phục chiến thắng của 107 mô hình nhiều hơn vô hiệu hóa bất kỳ lợi ích nào từ việc giảm lỗi. Vì điều này, Netflix cuối cùng đã từ bỏ sự theo đuổi của MSE và không có thêm giải thưởng Netflix nào được trao
Và đây là vấn đề: giảm thiểu lỗi dự đoán có thể dễ dàng bị đánh cắp hoặc bị hack và dễ bị lừa đảo phân tích (nghĩa là tìm một giải pháp tôn vinh các kỹ năng mô hình của nhà phân tích, tác động tích cực đến phần thưởng cuối năm tiềm năng của anh ta). Hơn nữa, nó là một giải pháp thống kê hoàn toàn và mục tiêu đặt ra trong khoảng trống kinh tế và kinh doanh. Số liệu này cung cấp ít hoặc không xem xét các chi phí phụ trợ, tài sản thế chấp - hậu quả hoạt động rất thực được đánh giá từ A đến Z, là một phần không thể thiếu của bất kỳ quy trình ra quyết định dựa trên sự đánh đổi đầy đủ nào.
Điều này đã trở thành một trong những vấn đề được nhúng trong các tổ chức và rất, rất khó thay đổi. Nói cách khác, tôi hoàn toàn nhận thức được rằng tôi đang nghiêng về cối xay gió với câu nói này về những lời cảnh báo với việc sử dụng PA.