Làm thống kê chính xác trong một môi trường làm việc?

Tôi không chắc câu hỏi này thuộc về đâu: Xác thực chéo hoặc Nơi làm việc. Nhưng câu hỏi của tôi mơ hồ liên quan đến số liệu thống kê.

Câu hỏi này (hoặc tôi đoán câu hỏi) nảy sinh trong quá trình tôi làm "thực tập khoa học dữ liệu". Tôi đã xây dựng mô hình hồi quy tuyến tính này và kiểm tra lô dư. Tôi thấy dấu hiệu rõ ràng của sự không đồng nhất. Tôi nhớ rằng tính không đồng nhất làm biến dạng nhiều thống kê kiểm tra như khoảng tin cậy và kiểm tra t. Vì vậy, tôi đã sử dụng bình phương tối thiểu trọng số, theo những gì tôi đã học được ở trường đại học. Người quản lý của tôi đã nhìn thấy điều đó và khuyên tôi đừng làm điều đó bởi vì "tôi đang làm mọi thứ trở nên phức tạp", đó không phải là một lý do rất thuyết phục đối với tôi.

Một ví dụ khác là "loại bỏ một biến giải thích vì giá trị p của nó là không đáng kể". Để được, lời khuyên này chỉ không có ý nghĩa từ quan điểm logic. Theo những gì tôi đã học được, giá trị p không đáng kể có thể do các lý do khác nhau: cơ hội, sử dụng mô hình sai, vi phạm các giả định, v.v.

Một ví dụ khác là, tôi đã sử dụng xác nhận chéo k-Fold để đánh giá mô hình của mình. Theo kết quả, chỉ tốt hơn . Nhưng chúng tôi có thấp hơn cho mô hình 1 và lý do có liên quan đến việc đánh chặn . Tuy nhiên, người giám sát của tôi dường như thích mô hình 2 hơn vì nó có cao hơn . Lý do của anh ấy (chẳng hạn như là mạnh mẽ, hoặc xác nhận chéo là phương pháp học máy chứ không phải phương pháp thống kê) dường như không đủ sức thuyết phục để thay đổi suy nghĩ của tôi.$CV_{model 1}$$CV_{model 2}$$R^2$$R^2$$R^2$

Là một người vừa tốt nghiệp đại học, tôi rất bối rối. Tôi rất say mê áp dụng số liệu thống kê chính xác để giải quyết các vấn đề trong thế giới thực, nhưng tôi không biết điều nào sau đây là đúng:

1. Các số liệu thống kê tôi tự học là sai, vì vậy tôi chỉ đang phạm sai lầm.
2. Có sự khác biệt rất lớn giữa thống kê lý thuyết và mô hình xây dựng trong các công ty. Và mặc dù lý thuyết thống kê là đúng, mọi người chỉ không tuân theo nó.
3. Người quản lý không sử dụng số liệu thống kê chính xác.

Cập nhật vào ngày 17 tháng 4 năm 2017: Tôi đã quyết định theo đuổi bằng tiến sĩ. trong thống kê. Cảm ơn tất cả các bạn đã trả lời.

Tóm lại, bạn đúng và anh ấy sai. Bi kịch của phân tích dữ liệu là rất nhiều người làm điều đó, nhưng chỉ một số ít người làm tốt, một phần do giáo dục yếu về phân tích dữ liệu và một phần do sự thờ ơ. Hãy chú ý đến hầu hết mọi bài báo nghiên cứu đã xuất bản không có chuyên gia thống kê hoặc chuyên gia về máy học trong danh sách tác giả và bạn sẽ nhanh chóng phát hiện ra những sai lầm cơ bản như diễn giải giá trị là xác suất giả thuyết null là đúng .$p$

Tôi nghĩ rằng điều duy nhất cần làm, khi đối mặt với loại tình huống này, là giải thích cẩn thận những gì sai về thực tiễn sai lầm, với một hoặc hai ví dụ.

Kodiologist đúng - bạn đúng, anh ấy sai. Tuy nhiên, thật đáng buồn khi đây là một vấn đề thậm chí phổ biến hơn so với những gì bạn gặp phải. Bạn thực sự đang ở trong một ngành công nghiệp đang làm tương đối tốt.

$mean + 3*\sigma$

Bây giờ, ngoài thực tế là khoảng tin cậy này không cho họ biết họ thực sự cần gì (họ cần một khoảng dung sai cho điều đó), điều này được thực hiện một cách mù quáng trên các tham số đang lơ lửng gần một giá trị tối đa hoặc tối thiểu (nhưng trong đó khoảng đó giành được ' t thực sự vượt quá các giá trị đó). Bởi vì Excel sẽ tính toán những gì họ cần (vâng, tôi đã nói Excel), họ đặt thông số kỹ thuật của họ theo đó, mặc dù thực tế là tham số sẽ không được phân phối ở bất cứ đâu gần bình thường. Những người này đã được dạy các số liệu thống kê cơ bản, nhưng không phải là các lô qq hay đại loại như thế. Một trong những vấn đề lớn nhất là số liệu thống kê sẽ cung cấp cho bạn một con số, ngay cả khi được sử dụng không phù hợp - vì vậy hầu hết mọi người không biết khi nào họ đã làm như vậy.

Nói cách khác, các thông số kỹ thuật trên đại đa số các sản phẩm, trong đại đa số các ngành công nghiệp, là vô nghĩa.

Một trong những ví dụ tồi tệ nhất mà tôi có về những người mù quáng theo số liệu thống kê, mà không hiểu gì, là sử dụng Cpk trong ngành công nghiệp ô tô. Một công ty đã dành khoảng một năm để tranh cãi về một sản phẩm với nhà cung cấp của họ, bởi vì họ nghĩ rằng nhà cung cấp có thể kiểm soát sản phẩm của họ đến một mức độ đơn giản là không thể. Họ chỉ đặt một thông số tối đa (không tối thiểu) cho một tham số và đã sử dụng Cpk để biện minh cho yêu cầu của mình - cho đến khi chỉ ra rằng các tính toán của họ (khi được sử dụng để đặt mức tối thiểu theo lý thuyết - họ không muốn điều đó không được kiểm tra ) ngụ ý một giá trị âm lớn. Điều này, trên một tham số không bao giờ có thể đi dưới 0. Cpk giả định bình thường, quá trình không cung cấp bất cứ nơi nào gần dữ liệu bình thường. Phải mất một thời gian dài để có được điều đó để chìm vào. Tất cả những điều đó đã lãng phí thời gian và tiền bạc vì mọi người đã không ' Tôi không hiểu những gì họ đã tính toán - và nó có thể tệ hơn rất nhiều nếu nó không được chú ý. Đây có thể là một yếu tố góp phần vào lý do tại sao có sự thu hồi thường xuyên trong ngành công nghiệp ô tô!

Tôi, bản thân tôi, đến từ một nền tảng khoa học, và, thẳng thắn, việc giảng dạy thống kê trong khoa học và kỹ thuật là không đủ. Tôi chưa bao giờ nghe về hầu hết những gì tôi cần sử dụng bây giờ - tất cả đều được tự học và có những khoảng trống lớn (so với một thống kê đúng) trong kiến ​​thức của tôi ngay cả bây giờ. Vì lý do đó, tôi không bắt bẻ mọi người lạm dụng số liệu thống kê (có lẽ tôi vẫn làm điều đó thường xuyên), đó là nền giáo dục kém.

Vì vậy, quay trở lại câu hỏi ban đầu của bạn, nó thực sự không dễ dàng. Tôi đồng ý với khuyến nghị của Kodiologist cố gắng giải thích nhẹ nhàng những điều này để sử dụng số liệu thống kê phù hợp. Nhưng , tôi sẽ thêm một lời cảnh báo vào đó và cũng khuyên bạn nên chọn những trận đánh của mình một cách khôn ngoan, vì lợi ích của sự nghiệp.

Thật không may, nhưng thực tế là bạn sẽ không thể khiến mọi người thống kê tốt nhất mọi lúc. Chọn sửa chúng khi nó thực sự quan trọng đối với kết luận chung cuối cùng (đôi khi có nghĩa là thực hiện hai cách khác nhau để kiểm tra). Đôi khi (ví dụ mô hình 1,2 của bạn) trong đó sử dụng cách "sai" có thể dẫn đến kết luận tương tự. Tránh sửa quá nhiều người quá thường xuyên.

Tôi biết rằng đó là sự thất vọng về trí tuệ và thế giới sẽ hoạt động khác đi - thật đáng buồn là nó không. Ở một mức độ nào đó, bạn sẽ phải học cách đánh giá các trận đánh của mình dựa trên tính cách cá nhân của đồng nghiệp. Mục tiêu (sự nghiệp) của bạn là trở thành chuyên gia mà họ tìm đến khi họ thực sự cần sự giúp đỡ, chứ không phải người kén chọn luôn cố gắng sửa sai. Và trên thực tế, nếu bạn trở thành người đó, đó có lẽ là nơi bạn sẽ thành công nhất khi khiến mọi người lắng nghe và làm mọi việc đúng cách. Chúc may mắn.

Những gì được mô tả xuất hiện như một kinh nghiệm hơi xấu. Tuy nhiên, đó không phải là điều khiến người ta phải đặt câu hỏi ngay lập tức về nền tảng giáo dục cũng như phán đoán thống kê của người giám sát / quản lý của họ.

$R^2$công việc, thay vì hành vi tiệm cận ở đâu đó trong tương lai, không có nhiều ý nghĩa. Mọi người sẽ miễn cưỡng chấp nhận nó; Tại sao phải tiêu tốn năng lượng để thay đổi khi mọi thứ (phần nào) hoạt động? Người quản lý của bạn không nhất thiết sai từ góc độ kinh doanh. Ông chịu trách nhiệm về thống kê cũng như các quyết định kinh doanh của bộ phận của bạn; những quyết định đó không nhất thiết phải luôn luôn trùng khớp và hoàn toàn không trùng khớp với các sản phẩm ngắn hạn (hạn chế về thời gian là một yếu tố rất quan trọng trong phân tích dữ liệu công nghiệp).

Lời khuyên của tôi là hãy bám vào súng (thống kê) của bạn nhưng hãy cởi mở với những gì mọi người làm, kiên nhẫn với những người có thể tách ra khỏi thực tiễn thống kê mới và đưa ra lời khuyên / ý kiến khi được hỏi , phát triển một làn da dày hơn và học hỏi từ môi trường của bạn. Nếu bạn đang làm đúng công cụ, điều này sẽ từ từ hiển thị, mọi người sẽ muốn ý kiến ​​của bạn vì họ sẽ nhận ra bạn có thể đưa ra giải pháp trong đó quy trình làm việc hiện tại của họ không. Cuối cùng, vâng chắc chắn, nếu sau một khoảng thời gian hợp lý (ít nhất là vài tháng) bạn cảm thấy rằng mình bị mất giá và thiếu tôn trọng chỉ cần tiếp tục.

Không cần phải nói rằng bây giờ bạn đang ở trong ngành, bạn không thể ngồi lại và nghĩ rằng bạn không cần phải trau dồi giáo dục Thống kê. Mô hình dự đoán, chiến lược hồi quy, thuật toán phân cụm chỉ tiếp tục phát triển. Ví dụ, sử dụng hồi quy quy trình Gaussian trong môi trường công nghiệp gần với khoa học viễn tưởng 10 năm trước; bây giờ nó có thể thấy gần giống như một thứ ngoài lề để thử.