Làm cách nào để chuyển đổi dữ liệu không âm bao gồm số không?

Nếu tôi có dữ liệu tích cực sai lệch, tôi thường lấy nhật ký. Nhưng tôi nên làm gì với dữ liệu không âm rất sai lệch bao gồm số không? Tôi đã thấy hai phép biến đổi được sử dụng:

• $\log(x+1)$ có tính năng gọn gàng là 0 ánh xạ thành 0.
• $\log(x+c)$ trong đó c được ước tính hoặc được đặt thành một giá trị dương rất nhỏ.

Có cách tiếp cận nào khác không? Có bất kỳ lý do tốt để thích một cách tiếp cận hơn những cách khác?

Dường như với tôi rằng sự lựa chọn chuyển đổi thích hợp nhất phụ thuộc vào mô hình và bối cảnh.

Điểm '0' có thể phát sinh từ một số lý do khác nhau mà mỗi lý do có thể phải được đối xử khác nhau:

• Cắt ngắn (như trong ví dụ của Robin): Sử dụng các mô hình phù hợp (ví dụ: hỗn hợp, mô hình sinh tồn, v.v.)
• Thiếu dữ liệu: Dữ liệu không ổn định / Thả quan sát nếu thích hợp.
• Điểm không tự nhiên (ví dụ: mức thu nhập; một người thất nghiệp có thu nhập bằng 0): Chuyển đổi khi cần thiết
• Độ nhạy của dụng cụ đo: Có lẽ, thêm một lượng nhỏ vào dữ liệu?

Tôi không thực sự đưa ra một câu trả lời vì tôi nghi ngờ không có sự biến đổi 'chính xác' khi bạn có số không.

Không ai đề cập đến sự biến đổi hình sin hyperbol ngược. Vì vậy, để hoàn thiện tôi đang thêm nó ở đây.

Đây là một thay thế cho các phép biến đổi Box-Cox và được xác định bởi trong đó . Đối với bất kỳ giá trị nào của , zero maps thành zero. Ngoài ra còn có một phiên bản hai tham số cho phép thay đổi, giống như với phép biến đổi hai tham số BC. Burbidge, Magee và Robb (1988) thảo luận về chuyển đổi IHS bao gồm ước tính .θ >

Phép biến đổi IHS hoạt động với dữ liệu được xác định trên toàn bộ dòng thực bao gồm các giá trị âm và số không. Đối với các giá trị lớn của nó hoạt động như một chuyển đổi nhật ký, bất kể giá trị của (ngoại trừ 0). Trường hợp giới hạn như cho .$y$$\theta$$\theta\rightarrow0$$f(y,\theta)\rightarrow y$

Theo tôi thì việc chuyển đổi IHS sẽ được biết đến nhiều hơn nó.

Một cách tiếp cận hữu ích khi biến được sử dụng như một yếu tố độc lập trong hồi quy là thay thế nó bằng hai biến: một là chỉ số nhị phân cho dù nó bằng 0 và biến còn lại là giá trị của biến ban đầu hoặc biểu thức lại của nó, chẳng hạn như logarit của nó. Kỹ thuật này được thảo luận trong cuốn sách của Hosmer & Lemeshow về hồi quy logistic (và ở những nơi khác, tôi chắc chắn). Các biểu đồ xác suất rút gọn của phần dương của biến ban đầu rất hữu ích để xác định biểu thức lại thích hợp. (Xem phân tích tại https://stats.stackexchange.com/a/30749/919 để biết ví dụ.)

Khi biến là biến phụ thuộc trong mô hình tuyến tính, hồi quy kiểm duyệt (như Tobit ) có thể hữu ích, một lần nữa làm giảm nhu cầu tạo logarit bắt đầu. Kỹ thuật này là phổ biến giữa các nhà kinh tế lượng.

Các biến đổi nhật ký với các ca là các trường hợp đặc biệt của các phép biến đổi Box-Cox :

$y(\lambda_{1}, \lambda_{2}) = \begin{cases} \frac {(y+\lambda_{2})^{\lambda_1} - 1} {\lambda_{1}} & \mbox{when } \lambda_{1} \neq 0 \\ \log (y + \lambda_{2}) & \mbox{when } \lambda_{1} = 0 \end{cases}$

Đây là dạng mở rộng cho các giá trị âm, nhưng cũng có thể áp dụng cho dữ liệu chứa số không. Box and Cox (1964) trình bày một thuật toán để tìm các giá trị phù hợp cho khả năng tối đa của . Điều này cung cấp cho bạn sự chuyển đổi cuối cùng. $\lambda$

Một lý do để thích các phép biến đổi Box-Cox là chúng được phát triển để đảm bảo các giả định cho mô hình tuyến tính. Có một số công việc được thực hiện để chỉ ra rằng ngay cả khi dữ liệu của bạn không thể được chuyển đổi thành quy tắc, thì ước tính vẫn dẫn đến phân phối đối xứng.$\lambda$

Tôi không chắc chắn điều này xử lý dữ liệu của bạn tốt như thế nào, vì có thể đó là chỉ là biến đổi nhật ký mà bạn đã đề cập, nhưng có thể đáng để ước tính 'để xem nếu khác biến đổi là phù hợp.$\lambda = (0, 1)$$\lambda$

Trong R, boxcox.fithàm trong gói geoRsẽ tính toán các tham số cho bạn.

Tôi đoán rằng zero! = Thiếu dữ liệu, vì đó là một câu hỏi hoàn toàn khác.

Khi nghĩ về cách xử lý các số 0 trong hồi quy tuyến tính, tôi có xu hướng xem xét chúng ta thực sự có bao nhiêu số không?

Chỉ có một vài số không

Nếu tôi có một số 0 duy nhất trong tập dữ liệu lớn hợp lý, tôi có xu hướng:

1. Xóa điểm, ghi nhật ký và phù hợp với mô hình
2. Thêm một nhỏ vào điểm, lấy nhật ký và phù hợp với mô hình$c$

Liệu mô hình phù hợp thay đổi? Còn các giá trị tham số thì sao? Nếu mô hình khá mạnh mẽ để loại bỏ điểm, tôi sẽ tìm cách tiếp cận nhanh và bẩn khi thêm .$c$

Bạn có thể làm cho thủ tục này bớt thô hơn một chút và sử dụng phương pháp boxcox với các ca được mô tả trong câu trả lời của ars.

Số lượng lớn số không

Nếu tập dữ liệu của tôi chứa một số lượng lớn số không, thì điều này cho thấy hồi quy tuyến tính đơn giản không phải là công cụ tốt nhất cho công việc. Thay vào đó tôi sẽ sử dụng một cái gì đó giống như mô hình hỗn hợp (theo đề xuất của Srikant và Robin).

Nếu bạn muốn một cái gì đó nhanh chóng và bẩn tại sao không sử dụng căn bậc hai?

Tôi giả sử bạn có dữ liệu liên tục.

Nếu dữ liệu bao gồm các số không, điều này có nghĩa là bạn tăng đột biến về 0, điều này có thể là do một số khía cạnh cụ thể của dữ liệu của bạn. Ví dụ, nó xuất hiện trong năng lượng gió, gió dưới 2 m / s tạo ra năng lượng bằng không (nó được gọi là cắt) và gió trên (một cái gì đó xung quanh) 25 m / s cũng tạo ra năng lượng bằng không (vì lý do an ninh, nó được gọi là cắt) . Trong khi sự phân phối năng lượng gió được sản xuất dường như liên tục, có sự tăng đột biến bằng không.

Giải pháp của tôi: Trong trường hợp này, tôi đề nghị xử lý các số 0 một cách riêng biệt bằng cách làm việc với hỗn hợp tăng vọt bằng 0 và mô hình bạn dự định sử dụng cho phần phân phối liên tục (wrt Lebesgue).

So sánh câu trả lời được cung cấp bởi @RobHyndman với một phép biến đổi log-plus-one được mở rộng thành các giá trị âm với biểu mẫu:

r = -1000:1000

l = sign(r)*log1p(abs(r))
l = l/max(l)
plot(r, l, type = "l", xlab = "Original", ylab = "Transformed", col = adjustcolor("red", alpha = 0.5), lwd = 3)

#We scale both to fit (-1,1)
for(i in exp(seq(-10, 100, 10))){
  s = asinh(i*r)

  s = s / max(s)
  lines(r, s, col = adjustcolor("blue", alpha = 0.2), lwd = 3)
}
legend("topleft", c("asinh(x)", "sign(x) log(abs(x)+1)"), col = c("blue", "red"), lty = 1)

Như bạn có thể thấy, khi tăng thêm biến đổi trông giống như một hàm bước. Với nó trông rất giống phép chuyển đổi log-plus-one. Và khi nó tiếp cận một dòng.q ≈ 1 q → $\theta$$\theta \approx 1$$\theta \rightarrow 0$

EDIT: Hãy nhớ rằng biến đổi nhật ký có thể được thay đổi tương tự thành quy mô tùy ý, với kết quả tương tự. Tôi chỉ muốn hiển thị những gì cho kết quả tương tự dựa trên câu trả lời trước đó. Sự khác biệt lớn nhất giữa cả hai cách tiếp cận là vùng gần , như chúng ta có thể thấy bằng các dẫn xuất của chúng.x = $\theta$$x=0$

Do Box-Cox phù hợp với hai tham số đã được đề xuất, đây là một số R để phù hợp với dữ liệu đầu vào, chạy một hàm tùy ý trên nó (ví dụ như dự báo chuỗi thời gian), sau đó trả về đầu ra đảo ngược:

# Two-parameter Box-Cox function
boxcox.f <- function(x, lambda1, lambda2) {
  if (lambda1!=0) {
    return(((x + lambda2) ^ lambda1 - 1) / lambda1)
  } else {
    return(log(x + lambda2))
  }
}

# Two-parameter inverse Box-Cox function
boxcox.inv <- function(x, lambda1, lambda2) {
  if (lambda1!=0) {
    return((lambda1 * x + 1) ^ (1 / lambda1) - lambda2)
  } else {
    return(exp(x) - lambda2)
  }
}

# Function to Box-Cox transform x, apply function g, 
# and return inverted Box-Cox output y
boxcox.fit.apply <- function(x, g) {
  require(geoR)
  require(plyr)

  # Fit lambdas
  t <- try(lambda.pair <- boxcoxfit(x, lambda2=T)$lambda)

  # Estimating both lambdas sometimes fails; if so, estimate lambda1 only
  if (inherits(t, "try-error")) {
    lambda1 <- boxcoxfit(x)$lambda
    lambda2 <- 0
  } else {
    lambda1 <- lambda.pair[1]
    lambda2 <- lambda.pair[2]
  }
  x.boxcox <- boxcox.f(x, lambda1, lambda2)

  # Apply function g to x.boxcox. This should return data similar to x (e.g. ts)
  y <- aaply(x.boxcox, 1, g)

  return(boxcox.inv(y, lambda1, lambda2))
}

Giả sử Y là số tiền mỗi người Mỹ chi cho một chiếc xe mới trong một năm nhất định (tổng giá mua). Y sẽ tăng vọt về 0; sẽ không có giá trị nào trong khoảng từ 0 đến khoảng 12.000; và sẽ lấy các giá trị khác chủ yếu ở thanh thiếu niên, hai mươi và ba mươi ngàn. Những người dự đoán sẽ là những ủy nhiệm cho mức độ cần thiết và / hoặc quan tâm đến việc mua hàng như vậy. Nhu cầu hoặc lãi suất khó có thể nói là bằng không đối với các cá nhân không mua hàng; trên các thang đo này, những người không mua sẽ gần với người mua hơn Y hoặc thậm chí nhật ký của Y sẽ đề xuất. Trong một trường hợp giống như thế này nhưng trong chăm sóc sức khỏe, tôi thấy rằng những dự đoán chính xác nhất, được đánh giá bằng phương pháp xác định chéo tập hợp thử nghiệm / tập huấn luyện, đã thu được bằng cách, theo thứ tự tăng dần,

1. Hồi quy logistic trên phiên bản nhị phân của Y,
2. OLS trên Y,
3. Hồi quy thông thường (PLUM) trên Y đã chia thành 5 loại (để chia người mua thành 4 nhóm có kích thước bằng nhau),
4. Hồi quy logistic đa thức trên Y được chia thành 5 loại,
5. OLS trên nhật ký (10) của Y (Tôi không nghĩ đến việc thử root cube) và
6. OLS trên Y đã chia thành 5 loại.

Một số sẽ giật lại ở phân loại này của một biến phụ thuộc liên tục. Nhưng mặc dù nó hy sinh một số thông tin, việc phân loại dường như có ích bằng cách khôi phục một khía cạnh cơ bản quan trọng của tình huống - một lần nữa, "số không" giống với phần còn lại nhiều hơn Y chỉ ra.

Chuyển đổi năng lượng Yeo-Johnson được thảo luận ở đây có các đặc tính tuyệt vời được thiết kế để xử lý các số không và âm trong khi xây dựng các điểm mạnh của chuyển đổi năng lượng Box Cox. Đây là những gì tôi thường làm khi tôi xử lý số không hoặc dữ liệu âm.

Dưới đây là một bản tóm tắt các biến đổi với ưu / nhược điểm để minh họa tại sao Yeo-Johnson lại thích hợp hơn.

Đăng nhập

Ưu điểm: Làm tốt với dữ liệu tích cực.

Nhược điểm: Không xử lý số không.

> log(0)
[1] -Inf

Đăng nhập cộng 1

Ưu điểm: Phần bù cộng 1 bổ sung khả năng xử lý các số 0 ngoài dữ liệu dương.

Nhược điểm: Thất bại với dữ liệu âm

> log1p(-1)
[1] -Inf
> log1p(-2)
[1] NaN
Warning message:
In log1p(-2) : NaNs produced

Căn bậc hai

Ưu điểm: Sử dụng một chuyển đổi năng lượng có thể xử lý số không và dữ liệu tích cực.

Nhược điểm: Thất bại với dữ liệu âm

> sqrt(-1)
[1] NaN
Warning message:
In sqrt(-1) : NaNs produced

Hộp Cox

Mã R:

box_cox <- function(x, lambda) {

    eps <- 0.00001
    if (abs(lambda) < eps)
        log(x)
    else
        (x ^ lambda - 1) / lambda

}

Ưu điểm: Cho phép biến đổi công suất theo tỷ lệ

Nhược điểm: Bị các vấn đề với số không và số âm (nghĩa là chỉ có thể xử lý dữ liệu tích cực.

> box_cox(0, lambda = 0)
[1] -Inf
> box_cox(0, lambda = -0.5)
[1] -Inf
> box_cox(-1, lambda = 0.5)
[1] NaN

Yeo Johnson

Mã R:

yeo_johnson <- function(x, lambda) {

    eps <- .000001
    not_neg <- which(x >= 0)
    is_neg  <- which(x < 0)

    not_neg_trans <- function(x, lambda) {
        if (abs(lambda) < eps) log(x + 1)
        else ((x + 1) ^ lambda - 1) / lambda
    }

    neg_trans <- function(x, lambda) {
        if (abs(lambda - 2) < eps) - log(-x + 1)
        else - ((-x + 1) ^ (2 - lambda) - 1) / (2 - lambda)
    }

    x[not_neg] <- not_neg_trans(x[not_neg], lambda)

    x[is_neg] <- neg_trans(x[is_neg], lambda)

    return(x)

}

Ưu điểm: Có thể xử lý dữ liệu dương, không và âm.

Nhược điểm: Không ai mà tôi có thể nghĩ ra. Các thuộc tính rất giống với Box-Cox nhưng có thể xử lý dữ liệu âm và không.

> yeo_johnson(0, lambda = 0)
[1] 0
> yeo_johnson(0, lambda = -0.5)
[1] 0
> yeo_johnson(-1, lambda = 0.5)
[1] -1.218951

Để làm rõ cách xử lý nhật ký bằng 0 trong các mô hình hồi quy, chúng tôi đã viết một bài báo sư phạm giải thích giải pháp tốt nhất và những sai lầm phổ biến mà mọi người mắc phải trong thực tế. Chúng tôi cũng đã đưa ra một giải pháp mới để giải quyết vấn đề này.

Bạn có thể tìm thấy bài báo bằng cách nhấn vào đây: https : //ssrn.com/abab=3444996

$\log(y) = \beta \log(x) + \varepsilon$$\beta$$y$$x$

$Y$$Y + c > 0$

Trong bài viết của chúng tôi, chúng tôi thực sự cung cấp một ví dụ trong đó việc thêm các hằng số rất nhỏ thực sự mang lại độ lệch cao nhất. Chúng tôi cung cấp dẫn xuất một biểu hiện của sự thiên vị.

Trên thực tế, Poisson Pseudo Maximum Likabilities (PPML) có thể được coi là một giải pháp tốt cho vấn đề này. Người ta phải xem xét quá trình sau đây:

$y_i = a_i \exp(\alpha + x_i' \beta)$$E(a_i | x_i) = 1$

$\beta$$a_i$$y_i = 0$$E(a_i|x_i) = 1$$E( y_i - \exp(\alpha + x_i' \beta) | x_i) = 0$

$\sum_{i=1}^N ( y_i - \exp(\alpha + x_i' \beta) )x_i' = 0$

$y_i = 0$

$\beta$

$\log( y_i + \exp (\alpha + x_i' \beta)) = x_i' \beta + \eta_i$

Chúng tôi cho thấy rằng công cụ ước tính này không thiên vị và nó có thể được ước tính đơn giản bằng GMM với bất kỳ phần mềm thống kê tiêu chuẩn nào. Chẳng hạn, nó có thể được ước tính bằng cách thực thi chỉ một dòng mã với Stata.

Chúng tôi hy vọng rằng bài viết này có thể giúp đỡ và chúng tôi muốn nhận phản hồi từ bạn.

Barshe Bellégo và Louis-Daniel Pape CREST - Ecole Polytechnique - ENSAE