Cách xóa các giá trị ngoại lai khỏi tập dữ liệu

Tôi có một số dữ liệu đa biến về sắc đẹp so với tuổi. Độ tuổi dao động từ 20-40 trong khoảng thời gian là 2 (20, 22, 24 .... 40) và đối với mỗi bản ghi dữ liệu, chúng được đánh giá độ tuổi và độ đẹp từ 1-5. Khi tôi thực hiện các sơ đồ hộp của dữ liệu này (độ tuổi trên trục X, xếp hạng vẻ đẹp trên trục Y), có một số ngoại lệ được vẽ bên ngoài râu của mỗi hộp.

Tôi muốn loại bỏ những giá trị ngoại lệ này khỏi chính khung dữ liệu, nhưng tôi không chắc cách R tính toán những giá trị ngoại lệ cho các ô hộp của nó. Dưới đây là ví dụ về dữ liệu của tôi có thể trông như thế nào.

OK, bạn nên áp dụng một cái gì đó như thế này cho tập dữ liệu của mình. Đừng thay thế và lưu, nếu không bạn sẽ phá hủy dữ liệu của mình! Và, btw, bạn nên (hầu như) không bao giờ loại bỏ các ngoại lệ khỏi dữ liệu của mình:

remove_outliers <- function(x, na.rm = TRUE, ...) {
  qnt <- quantile(x, probs=c(.25, .75), na.rm = na.rm, ...)
  H <- 1.5 * IQR(x, na.rm = na.rm)
  y <- x
  y[x < (qnt[1] - H)] <- NA
  y[x > (qnt[2] + H)] <- NA
  y
}

Để xem nó hoạt động:

set.seed(1)
x <- rnorm(100)
x <- c(-10, x, 10)
y <- remove_outliers(x)
## png()
par(mfrow = c(1, 2))
boxplot(x)
boxplot(y)
## dev.off()

Và một lần nữa, bạn không bao giờ nên làm điều này một mình, các ngoại lệ chỉ có nghĩa là như vậy! =)

CHỈNH SỬA: Tôi đã thêm na.rm = TRUElàm mặc định.

EDIT2: Đã xóa quantilechức năng, thêm ghi chỉ số, do đó làm cho chức năng nhanh hơn! =)

Không ai đã đăng câu trả lời đơn giản nhất:

x[!x %in% boxplot.stats(x)$out]

Xem thêm tại đây: http://www.r-stosystem.com/2011/01/how-to-label-all-the-outaries-in-a-boxplot/

Sử dụng outline = FALSEnhư một tùy chọn khi bạn thực hiện boxplot (đọc phần trợ giúp!).

> m <- c(rnorm(10),5,10)
> bp <- boxplot(m, outline = FALSE)

Hàm boxplot trả về các giá trị được sử dụng để vẽ biểu đồ (sau đó thực sự được thực hiện bởi bxp ():

bstats <- boxplot(count ~ spray, data = InsectSprays, col = "lightgray") 
#need to "waste" this plot
bstats$out <- NULL
bstats$group <- NULL
bxp(bstats)  # this will plot without any outlier points

Tôi đã cố tình không trả lời câu hỏi cụ thể vì tôi coi đó là sơ suất thống kê để loại bỏ các "ngoại lệ". Tôi coi việc không vẽ chúng trong một ô vuông là một thực tiễn có thể chấp nhận được, nhưng việc loại bỏ chúng chỉ vì chúng vượt quá một số độ lệch chuẩn hoặc một số độ rộng giữa các phần tư là một sự xáo trộn có hệ thống và không khoa học đối với hồ sơ quan sát.

Tôi đã tìm kiếm các gói liên quan đến việc loại bỏ các ngoại lệ và tìm thấy gói này (đáng ngạc nhiên là "các ngoại lệ"!): Https://cran.r-project.org/web/packages/outlier/outaries.pdf
nếu bạn đã xem qua nó. xem các cách khác nhau để loại bỏ các giá trị ngoại lệ và trong số đó, tôi thấy rm.outliercách thuận tiện nhất để sử dụng và như nó đã nói trong liên kết ở trên: "Nếu các giá trị ngoại lệ được phát hiện và xác nhận bằng các thử nghiệm thống kê, chức năng này có thể loại bỏ nó hoặc thay thế bằng giá trị trung bình hoặc giá trị trung bình của mẫu" và đây cũng là phần sử dụng từ cùng một nguồn:
" Cách sử dụng

rm.outlier(x, fill = FALSE, median = FALSE, opposite = FALSE)

Đối số
x một tập dữ liệu, thường là một vectơ. Nếu đối số là khung dữ liệu, thì giá trị ngoại lệ bị sapply loại bỏ khỏi mỗi cột. Hành vi tương tự được áp dụng bằng cách áp dụng khi ma trận được đưa ra.
điền Nếu được đặt thành TRUE, giá trị trung bình hoặc giá trị trung bình được đặt thay vì đặt giá trị ngoại lệ. Nếu không, (các) ngoại lệ chỉ bị / bị loại bỏ.
Trung bình Nếu được đặt thành TRUE, trung vị được sử dụng thay vì trung bình trong thay thế ngoại lệ. ngược lại nếu được đặt thành TRUE, cho giá trị ngược lại (nếu giá trị lớn nhất có chênh lệch lớn nhất so với giá trị trung bình, nó cho giá trị nhỏ nhất và ngược lại) "

x<-quantile(retentiondata$sum_dec_incr,c(0.01,0.99))
data_clean <- data[data$attribute >=x[1] & data$attribute<=x[2],]

Tôi thấy điều này rất dễ dàng để loại bỏ các ngoại lệ. Trong ví dụ trên, tôi chỉ trích xuất 2 phân vị đến 98 phân vị của các giá trị thuộc tính.

Sẽ không:

z <- df[df$x > quantile(df$x, .25) - 1.5*IQR(df$x) & 
        df$x < quantile(df$x, .75) + 1.5*IQR(df$x), ] #rows

hoàn thành nhiệm vụ này khá dễ dàng?

Thêm vào đề xuất của @sefarkas và sử dụng quantile làm giới hạn, người ta có thể khám phá tùy chọn sau:

newdata <- subset(mydata,!(mydata$var > quantile(mydata$var, probs=c(.01, .99))[2] | mydata$var < quantile(mydata$var, probs=c(.01, .99))[1]) ) 

Điều này sẽ loại bỏ các điểm vượt quá lượng tử thứ 99. Cần phải cẩn thận như những gì aL3Xa đã nói về việc giữ cho các ngoại lệ. Nó chỉ nên được xóa để có được một cái nhìn thận trọng thay thế về dữ liệu.

1 cách để làm điều đó là

my.NEW.data.frame <- my.data.frame[-boxplot.stats(my.data.frame$my.column)$out, ]

hoặc là

my.high.value <- which(my.data.frame$age > 200 | my.data.frame$age < 0) 
my.NEW.data.frame <- my.data.frame[-my.high.value, ]

Các giá trị ngoại lai khá giống với các đỉnh, vì vậy một bộ dò đỉnh có thể hữu ích để xác định các giá trị ngoại lệ. Phương pháp được mô tả ở đây có hiệu suất khá tốt bằng cách sử dụng điểm số z. Phần hoạt ảnh ở cuối trang minh họa phương pháp báo hiệu về các giá trị ngoại lệ hoặc đỉnh.

Các đỉnh không phải lúc nào cũng giống như giá trị ngoại lai, nhưng chúng thường giống nhau.

Một ví dụ được hiển thị ở đây: Tập dữ liệu này được đọc từ một cảm biến thông qua giao tiếp nối tiếp. Đôi khi lỗi giao tiếp nối tiếp, lỗi cảm biến hoặc cả hai dẫn đến các điểm dữ liệu bị sai sót rõ ràng, lặp lại. Không có giá trị thống kê ở điểm này. Chúng được cho là không ngoại lệ, chúng là lỗi. Bộ dò đỉnh điểm z có thể phát tín hiệu trên các điểm dữ liệu giả và tạo ra một tập dữ liệu kết quả sạch:

Thử cái này. Nạp biến của bạn trong hàm và lưu o / p trong biến chứa các giá trị ngoại lệ đã bị loại bỏ

outliers<-function(variable){
    iqr<-IQR(variable)
    q1<-as.numeric(quantile(variable,0.25))
    q3<-as.numeric(quantile(variable,0.75))
    mild_low<-q1-(1.5*iqr)
    mild_high<-q3+(1.5*iqr)
    new_variable<-variable[variable>mild_low & variable<mild_high]
    return(new_variable)
}