Có nên xóa các trường hợp được gắn cờ là ngoại lệ bằng phần mềm thống kê khi thực hiện hồi quy bội?

Tôi đang thực hiện nhiều phân tích hồi quy và tôi không chắc liệu có nên xóa các ngoại lệ trong dữ liệu của mình hay không. Dữ liệu tôi quan tâm xuất hiện dưới dạng "vòng tròn" trên các ô vuông SPSS, tuy nhiên không có dấu hoa thị (điều này khiến tôi nghĩ rằng chúng không 'tệ đến thế'). Các trường hợp tôi quan tâm có xuất hiện dưới bảng "chẩn đoán ngẫu nhiên" trong đầu ra - do đó tôi có nên xóa các trường hợp này không?

Cờ ngoại lệ không phải là một cuộc gọi phán xét (hoặc trong mọi trường hợp không cần phải là một). Đưa ra một mô hình thống kê, các ngoại lệ có một định nghĩa chính xác, khách quan: chúng là các quan sát không tuân theo mô hình của phần lớn dữ liệu. Những quan sát như vậy cần được đặt ra khi bắt đầu bất kỳ phân tích nào chỉ vì khoảng cách của chúng với phần lớn dữ liệu đảm bảo rằng chúng sẽ tạo ra lực kéo không cân xứng đối với bất kỳ mô hình đa biến nào phù hợp với khả năng tối đa (hoặc thực sự là bất kỳ chức năng mất lồi nào khác).

Điều quan trọng là chỉ ra rằng đa biến outlier s có thể đơn giản là không thể phát hiện nếu dùng dư từ một sự phù hợp bình phương tối thiểu (hoặc bất kỳ mô hình khác theo ước tính của ML, hay bất kỳ chức năng mất lồi khác). Nói một cách đơn giản, các ngoại lệ đa biến chỉ có thể được phát hiện một cách đáng tin cậy bằng cách sử dụng phần dư của chúng từ một mô hình được trang bị bằng thủ tục ước tính không dễ bị ảnh hưởng bởi chúng.

Niềm tin rằng các ngoại lệ sẽ cần thiết nổi bật trong phần còn lại của một mức độ phù hợp cổ điển ở đâu đó trên đó với các thống kê khó có thể gỡ rối khác như giải thích các giá trị p như thước đo bằng chứng hoặc rút ra suy luận về dân số từ một mẫu thiên vị. Ngoại trừ có lẽ điều này có thể cũ hơn nhiều: Bản thân Gauss đã khuyến nghị sử dụng công cụ ước lượng mạnh như trung bình và điên (thay vì trung bình cổ điển và độ lệch chuẩn) để ước tính các tham số của phân phối bình thường từ các quan sát nhiễu (thậm chí sẽ đi cho đến khi có được yếu tố nhất quán của điên (1)).

Để đưa ra một ví dụ trực quan đơn giản dựa trên dữ liệu thực, hãy xem xét dữ liệu sao CYG khét tiếng . Đường màu đỏ ở đây mô tả sự phù hợp vuông nhỏ nhất, đường màu xanh phù hợp thu được bằng cách sử dụng khớp hồi quy tuyến tính mạnh mẽ. Sự phù hợp mạnh mẽ ở đây cụ thể là sự phù hợp FastLTS (2), một sự thay thế cho sự phù hợp LS có thể được sử dụng để phát hiện các ngoại lệ (bởi vì nó sử dụng một thủ tục ước tính để đảm bảo rằng ảnh hưởng của bất kỳ quan sát nào đối với hệ số ước tính bị giới hạn). Mã R để sao chép nó là:

library(robustbase)
data(starsCYG)
plot(starsCYG)
lm.stars <- lm(log.light ~ log.Te, data = starsCYG)
abline(lm.stars$coef,col="red",lwd=2)
lts.stars <- ltsReg(log.light ~ log.Te, data = starsCYG)
abline(lts.stars$coef,col="blue",lwd=2)

Điều thú vị là, 4 quan sát bên ngoài bên trái thậm chí không có phần dư lớn nhất liên quan đến độ phù hợp LS và âm mưu QQ của phần dư của phù hợp LS (hoặc bất kỳ công cụ chẩn đoán nào có nguồn gốc từ chúng như khoảng cách của Cook hoặc dfbeta) không thể hiện bất kỳ vấn đề nào trong số chúng là có vấn đề. Đây thực sự là chuẩn mực: không cần nhiều hơn hai ngoại lệ (bất kể kích thước mẫu) để kéo các ước tính LS theo cách mà các ngoại lệ sẽ không nổi bật trong một âm mưu còn lại. Đây được gọi là hiệu ứng mặt nạvà nó là tài liệu tốt. Có lẽ điều duy nhất đáng chú ý về bộ dữ liệu CYGstars là nó là bivariate (do đó chúng ta có thể sử dụng kiểm tra trực quan để xác nhận kết quả của sự phù hợp mạnh mẽ) và thực sự có một lời giải thích tốt cho lý do tại sao bốn quan sát bên trái này rất bất thường.

Đây là, btw, ngoại lệ nhiều hơn so với quy tắc: ngoại trừ trong các nghiên cứu thí điểm nhỏ liên quan đến các mẫu nhỏ và một vài biến số và người thực hiện phân tích thống kê cũng tham gia vào quá trình thu thập dữ liệu, tôi chưa bao giờ gặp trường hợp nào tin tưởng trước đó về danh tính của các ngoại lệ đã thực sự đúng. Đây là bằng cách yên tĩnh dễ dàng để xác minh. Bất kể các ngoại lệ đã được xác định bằng thuật toán phát hiện ngoại lệ hay cảm giác ruột của nhà nghiên cứu, các ngoại lệ là theo quan sát định nghĩa có đòn bẩy bất thường (hoặc 'kéo') so với các hệ số thu được từ phù hợp LS. Nói cách khác, các ngoại lệ là các quan sát mà việc loại bỏ khỏi mẫu sẽ ảnh hưởng nghiêm trọng đến sự phù hợp của LS.

Mặc dù tôi cũng chưa bao giờ trải nghiệm điều này, nhưng có một số trường hợp được ghi chép rõ ràng trong tài liệu trong đó các quan sát được gắn cờ là ngoại lệ bởi thuật toán phát hiện ngoại lệ sau đó được phát hiện là lỗi thô hoặc được tạo ra bởi một quy trình khác. Trong mọi trường hợp, không được bảo đảm về mặt khoa học cũng như không khôn ngoan khi chỉ loại bỏ các ngoại lệ nếu chúng có thể được hiểu hoặc giải thích bằng cách nào đó. Nếu một nhóm nhỏ các quan sát đã bị loại bỏ khỏi phần chính của dữ liệu thì nó có thể tự mình lấy kết quả của một quy trình thống kê, đó là điều khôn ngoan (và tôi có thể thêm tự nhiên) để xử lý nó bất kể có hay không không phải những điểm dữ liệu này cũng bị nghi ngờ trên những lý do khác.

(1): xem Stephen M. Stigler, Lịch sử thống kê: Đo lường sự không chắc chắn trước năm 1900.

(2): Tính toán hồi quy LTS cho các tập dữ liệu lớn (2006) PJ Rousseeuw, K. van Driessen.

(3): Phương pháp đa biến mạnh mẽ phân tích cao (2008). Hubert M., Rousseeuw PJ và Van Aelst S. Nguồn: Statist. Khoa học Tập 23, 92-119.

Nói chung, tôi cảnh giác loại bỏ "ngoại lệ". Phân tích hồi quy có thể được áp dụng chính xác khi có lỗi không phân phối thông thường, lỗi biểu hiện tính không đồng nhất hoặc giá trị của các yếu tố dự đoán / biến độc lập "khác xa" so với phần còn lại. Vấn đề thực sự với các ngoại lệ là chúng không tuân theo mô hình tuyến tính mà mọi điểm dữ liệu khác tuân theo. Làm thế nào để bạn biết liệu đây là trường hợp? Bạn không.

Nếu bất cứ điều gì, bạn không muốn tìm kiếm các giá trị của các biến của bạn là ngoại lệ; thay vào đó, bạn muốn tìm kiếm các giá trị của phần dư của bạn là ngoại lệ. Nhìn vào những điểm dữ liệu này. Các biến của họ được ghi lại chính xác? Có bất kỳ lý do nào mà họ sẽ không theo cùng một mô hình với phần còn lại của dữ liệu của bạn không?

Tất nhiên, lý do tại sao những quan sát này có thể xuất hiện dưới dạng ngoại lệ (theo chẩn đoán còn lại) có thể là do mô hình của bạn sai. Tôi có một giáo sư thích nói rằng, nếu chúng ta ném đi những người ngoài cuộc, chúng ta vẫn tin rằng các hành tinh xoay quanh mặt trời theo những vòng tròn hoàn hảo. Kepler có thể đã vứt bỏ Sao Hỏa và câu chuyện quỹ đạo tròn sẽ trông khá hay. Mars cung cấp cái nhìn sâu sắc quan trọng rằng mô hình này không chính xác và anh ta sẽ bỏ lỡ kết quả này nếu bỏ qua hành tinh đó.

Bạn đã đề cập rằng việc loại bỏ các ngoại lệ không làm thay đổi kết quả của bạn rất nhiều. Điều này là do bạn chỉ có một số lượng nhỏ các quan sát mà bạn đã loại bỏ so với mẫu của bạn hoặc chúng phù hợp một cách hợp lý với mô hình của bạn. Điều này có thể gợi ý rằng, trong khi bản thân các biến có thể trông khác với phần còn lại, phần dư của chúng không nổi bật. Tôi sẽ để họ vào và không cố gắng biện minh cho quyết định của mình để loại bỏ một số điểm cho các nhà phê bình của tôi.

+1 cho @Charlie và @PeterFlom; bạn đang nhận được thông tin tốt ở đó. Có lẽ tôi có thể đóng góp nhỏ ở đây bằng cách thách thức tiền đề của câu hỏi. Thông thường, một boxplot (phần mềm có thể thay đổi và tôi không biết chắc chắn SPSS đang làm gì) nhãn nhiều hơn 1,5 lần Phạm vi tứ phân vị phía trên (bên dưới) phần tư thứ ba (thứ nhất) là 'ngoại lệ'. Tuy nhiên, chúng ta có thể hỏi mức độ thường xuyên chúng ta sẽ tìm thấy ít nhất một điểm như vậy khi chúng ta biết thực tế là tất cả các điểm đến từ cùng một phân phối? Một mô phỏng đơn giản có thể giúp chúng ta trả lời câu hỏi này:

set.seed(999)                                     # this makes the sim reproducable

outVector = vector(length=10000)                  # to store the results
N = 100                                           # amount of data per sample

for(i in 1:10000){                                # repeating 10k times
  X = rnorm(N)                                    # draw normal sample
  bp = boxplot(X, plot=FALSE)                     # make boxplot
  outVector[i] = ifelse(length(bp$out)!=0, 1, 0)  # if there are 'outliers', 1, else 0
}

mean(outVector)                                   # the % of cases w/ >0 'outliers'
[1] 0.5209

Điều này chứng tỏ rằng những điểm như vậy có thể được dự kiến ​​sẽ xảy ra phổ biến (> 50% thời gian) với các mẫu có kích thước 100, ngay cả khi không có gì là không ổn. Như câu cuối cùng gợi ý, xác suất tìm thấy một 'ngoại lệ' giả thông qua chiến lược boxplot sẽ phụ thuộc vào kích thước mẫu:

   N    probability
  10    [1] 0.2030
  50    [1] 0.3639
 100    [1] 0.5209
 500    [1] 0.9526
1000    [1] 0.9974

Có các chiến lược khác để tự động xác định các ngoại lệ, nhưng bất kỳ phương pháp nào như vậy đôi khi sẽ xác định sai các điểm hợp lệ là 'ngoại lệ' và đôi khi xác định nhầm các ngoại lệ thực là 'điểm hợp lệ'. (Bạn có thể coi đây là lỗi loại I và loại II .) Suy nghĩ của tôi về vấn đề này (vì giá trị của nó) là tập trung vào các tác động của việc bao gồm / loại trừ các điểm trong câu hỏi. Nếu mục tiêu của bạn là dự đoán, bạn có thể sử dụng xác thực chéo để xác định xem bao nhiêu / bao gồm các điểm trong câu hỏi có làm tăng lỗi bình phương trung bình gốc của dự đoán hay không . Nếu mục tiêu của bạn là giải thích, bạn có thể xem dfBeta(nghĩa là xem xét các ước tính beta của mô hình của bạn thay đổi bao nhiêu tùy thuộc vào việc các điểm trong câu hỏi có được bao gồm hay không). Một quan điểm khác (có thể nói là tốt nhất) là để tránh phải chọn liệu có nên loại bỏ các điểm bất thường hay không, và chỉ sử dụng các phân tích mạnh mẽ để thay thế.

Trước tiên bạn nên xem xét các lô của phần dư: Họ có tuân theo (đại khái) một phân phối bình thường không? Họ có dấu hiệu không đồng nhất? Nhìn vào các âm mưu khác nữa (tôi không sử dụng SPSS, vì vậy không thể nói chính xác làm thế nào để thực hiện điều này trong chương trình đó, cũng như những ô vuông nào bạn đang xem; tuy nhiên, thật khó để tưởng tượng rằng các dấu hoa thị có nghĩa là "không tệ" rằng đây là những điểm rất bất thường bởi một số tiêu chí).

Sau đó, nếu bạn có ngoại lệ, hãy nhìn vào chúng và cố gắng tìm hiểu tại sao.

Sau đó, bạn có thể thử hồi quy có và không có ngoại lệ. Nếu kết quả tương tự, cuộc sống là tốt. Báo cáo kết quả đầy đủ với một chú thích. Nếu không giống nhau, thì bạn nên giải thích cả hai hồi quy.