Chuyển đổi dữ liệu tỷ lệ: khi căn bậc hai arcsin không đủ

Có một sự thay thế (mạnh hơn?) Cho phép biến đổi căn bậc hai arcsin cho dữ liệu tỷ lệ / tỷ lệ không? Trong tập dữ liệu tôi đang làm việc tại thời điểm này, tính không đồng nhất được đánh dấu vẫn còn sau khi tôi áp dụng phép chuyển đổi này, tức là biểu đồ của phần dư so với giá trị được trang bị vẫn còn rất nhiều hình thoi.

Được chỉnh sửa để trả lời các bình luận: dữ liệu là quyết định đầu tư của những người tham gia thử nghiệm, những người có thể đầu tư 0-100% khoản đầu tư vào bội số 10%. Tôi cũng đã xem xét các dữ liệu này bằng cách sử dụng hồi quy logistic thông thường, nhưng muốn xem một glm hợp lệ sẽ tạo ra những gì. Ngoài ra, tôi có thể thấy câu trả lời là hữu ích cho công việc trong tương lai, vì căn bậc hai arcsin dường như được sử dụng như một giải pháp phù hợp với một kích thước trong lĩnh vực của tôi và tôi đã không bắt gặp bất kỳ giải pháp thay thế nào đang được sử dụng.

data-transformation generalized-linear-model heteroscedasticity

— Freya Harrison
nguồn

Các giá trị được trang bị từ là gì? Mô hình của bạn là gì? arcsin là (xấp xỉ) ổn định phương sai cho nhị thức, nhưng bạn vẫn sẽ có hiệu ứng "cạnh" nếu tỷ lệ gần bằng 0 hoặc 1 - vì phần bình thường thực sự bị cắt cụt.

— xác suất

Hãy để tôi nhân đôi những gì @probabilityislogic đã nói và cũng hỏi về dữ liệu đến từ đâu. Có thể có một cái gì đó trong vấn đề gợi ý một sự chuyển đổi khác, hoặc một mô hình khác hoàn toàn, có thể phù hợp hơn và / hoặc có thể giải thích được.

— JMS

@prob @JMS Tại sao chúng ta không để OP, người mà tôi tin là khá am hiểu về các số liệu thống kê, hãy thử lộ trình chuyển đổi trước? Sau đó, nếu điều đó không hiệu quả, sẽ có kết quả khi bắt đầu một chủ đề mới trong đó vấn đề được trình bày ít hơn. Nhận xét của bạn sẽ thích hợp trong bối cảnh đó.

— whuber

Có những vấn đề lớn với sự biến đổi căn bậc hai của arcsine, được mô tả một cách thẳng thắn trong bài báo có tiêu đề thú vị arcsine là asinine: phân tích tỷ lệ trong sinh thái học

— mkt - Tái lập lại

@mkt Cảm ơn bạn đã tham khảo, điều này đã đi thẳng vào bài giảng của học kỳ tiếp theo về các mô hình tuyến tính tổng quát.

— Freya Harrison

Câu trả lời:

Chắc chắn rồi. John Tukey mô tả một gia đình biến đổi (tăng dần, một thành một) trong EDA . Nó dựa trên những ý tưởng này:

Để có thể mở rộng các đuôi (về 0 và 1) như được điều khiển bởi một tham số.
Tuy nhiên, để phù hợp với các giá trị (untransformed) ban đầu gần giữa ( $1/2$ ), mà làm cho việc chuyển đổi dễ dàng hơn để giải thích.
Để làm cho biểu thức lại đối xứng khoảng $1/2.$ Nghĩa là, nếu $p$ được biểu thị lại dưới dạng $f(p)$ , thì $1-p$ sẽ được biểu thị lại dưới dạng $-f(p)$ .

Nếu bạn bắt đầu với bất kỳ gia tăng đơn điệu hàm số $g: (0,1) \to \mathbb{R}$ khả vi tại $1/2$ bạn có thể điều chỉnh nó để đáp ứng các tiêu chí thứ hai và thứ ba: chỉ cần xác định

f (p) = \frac{g (p) - g (1 - p)}{2 g^{'} (1 / 2)} .

$f(p) = \frac{g(p) - g(1-p)}{2g'(1/2)}.$

Tử số đối xứng rõ ràng (tiêu chí $(3)$ ), bởi vì hoán đổi $p$ với $1-p$ đảo ngược phép trừ, do đó phủ định nó. Để thấy rằng $(2)$ được thỏa mãn, lưu ý rằng mẫu số là chính xác là yếu tố cần thiết để làm cho $f^\prime(1/2)=1.$ Nhớ lại rằng xấp xỉ đạo hàm các hành vi cục bộ của một hàm với một hàm tuyến tính; độ dốc $1=1:1$ do đó có nghĩa là $f(p)\approx p$ (cộng với một hằng số $-1/2$ ) khi $p$ là đủ gần $1/2.$ Đây là ý nghĩa trong đó các giá trị ban đầu được "phù hợp gần giữa."

Tukey gọi đây là phiên bản "gấp" của $g$ . Gia đình anh ta bao gồm các biến đổi sức mạnh và log $g(p) = p^\lambda$ trong đó, khi $\lambda=0$ , chúng tôi xem xét $g(p) = \log(p)$ .

Hãy xem xét một số ví dụ. Khi $\lambda = 1/2$ chúng tôi nhận được gốc gấp, hoặc "Froot," $f(p) = \sqrt{1/2}\left(\sqrt{p} - \sqrt{1-p}\right)$ . Khi nào $\lambda = 0$ chúng ta có logarit gấp hoặc "flog," $f(p) = (\log(p) - \log(1-p))/4.$ Rõ ràng đây chỉ là bội số không đổi củaphép biến đổilogit, $\log(\frac{p}{1-p})$ .

Đồ thị cho lambda = 1, 1/2, 0 và arcsin

Trong biểu đồ này, đường màu xanh tương ứng với $\lambda=1$ , đường màu đỏ trung gian để $\lambda=1/2$ , và dòng xanh cực đoan để $\lambda=0$ . Dòng tiêu tan vàng là việc chuyển đổi arcsin, $\arcsin(2p-1)/2 = \arcsin(\sqrt{p}) - \arcsin(\sqrt{1/2})$ . Các "phù hợp" dốc (tiêu chí $(2)$ ) gây ra tất cả các đồ thị để trùng gần $p=1/2.$

Các giá trị hữu ích nhất của tham số $\lambda$ nằm giữa $1$ và $0$ . (Bạn có thể làm cho đuôi thậm chí nặng hơn với các giá trị tiêu cực của $\lambda$ , nhưng việc sử dụng này là hiếm.) $\lambda=1$ không làm bất cứ điều gì ở tất cả ngoại trừ recenter các giá trị ( $f(p) = p-1/2$ ). Như $\lambda$ co lại về phía zero, đuôi được kéo xa hơn về phía $\pm \infty$ . Điều này thỏa mãn tiêu chí số 1. Như vậy, bằng cách chọn một giá trị thích hợp của $\lambda$ , bạn có thể kiểm soát "sức mạnh" này lại biểu hiện ở đuôi.

— whuber
nguồn

whuber, biết bất kỳ chức năng R nào tự động thực hiện chức năng này?

— Giăng

@ John Không tôi không, nhưng nó đủ đơn giản để thực hiện.

— whuber

Tôi đã không thấy nó về cơ bản là khó khăn nhưng sẽ rất tuyệt nếu có thứ gì đó giống như các bản transtox boxcox tự động đưa ra lựa chọn tốt nhất cho lambda. Vâng, không khủng khiếp để thực hiện ...

— John

Cảm ơn whuber, đây chính xác là loại mà tôi đang tìm kiếm và biểu đồ thực sự hữu ích. Chắc chắn đồng ý với John rằng một cái gì đó như boxcox sẽ hữu ích, nhưng điều này có vẻ đủ đơn giản để giải quyết.

— Freya Harrison

Một cách để bao gồm là bao gồm một chuyển đổi được lập chỉ mục. Một cách chung là sử dụng bất kỳ hàm phân phối tích lũy đối xứng (nghịch đảo) nào sao cho và $F(0)=0.5$ . Một ví dụ là sự phân bố sinh viên t tiêu chuẩn, với bậc tự do. Tham số điều khiển biến số biến đổi di chuyển đến vô cùng nhanh như thế nào. Nếu bạn đặt thì bạn có biến đổi arctan: $F(x)=1-F(-x)$ $\nu$ $v$ $v=1$

x = a r c t a n (\frac{π [2 p - 1]}{2})

$x=arctan\left(\frac{\pi[2p-1]}{2}\right)$

Điều này là cực đoan hơn nhiều so với arcsine, và cực đoan hơn biến đổi logit. Lưu ý rằng logit chuyển đổi có thể được tạm xấp xỉ bằng phân phối t với . SO theo một cách nào đó, nó cung cấp một liên kết gần đúng giữa các phép biến đổi logit và probit ( ) và một phần mở rộng của chúng thành các phép biến đổi cực đoan hơn. $\nu\approx 8$ $\nu=\infty$

Vấn đề với những biến đổi là họ cung cấp $\pm\infty$ khi tỷ lệ quan sát được bằng hoặc . Vì vậy, bạn cần thu nhỏ những thứ này bằng cách nào đó - cách đơn giản nhất là thêm "thành công" và "thất bại". $1$ $0$ $+1$ $+1$

— xác suất
nguồn

Vì nhiều lý do, Tukey khuyên bạn nên thêm +1/6 để tính. Lưu ý rằng câu trả lời này là một trường hợp đặc biệt của phương pháp gấp của Tukey mà tôi đã mô tả: bất kỳ CDF nào có PDF dương là đơn điệu; gấp một CDF đối xứng để nó không thay đổi.

— whuber

Tôi đã tự hỏi sự gần đúng thô của bạn đến từ đâu. Làm thế nào để bạn đến

? Tôi không thể tái tạo điều này. Tôi chấp nhận điều đó xấp xỉ phải phá vỡ ở những thái cực của

gần

hoặc

, nhưng tôi thấy rằng

là một trận đấu tốt hơn nhiều cho logit cho

gần

. Có lẽ bạn đang tối ưu hóa một số biện pháp về sự khác biệt trung bình giữa CDF của

và

ν \approx 8

$\nu\approx 8$

p

$p$

0

$0$

1

$1$

ν = 5

$\nu=5$

p

$p$

1 / 2

$1/2$

t_{ν}

$t_\nu$

logit

$\text{logit}$

— whuber

@whuber - bạn cho tôi quá nhiều tín dụng. Đề xuất của tôi dựa trên việc xem xét biểu đồ pdf của

, biểu đồ của pdf logistic

và biểu đồ pdf chuẩn thông thường.

t_{8}

$t_8$

f (x) = e^{- x} (1 + e^{- x})^{- 2}

$f(x)=e^{-x}(1+e^{-x})^{-2}$

5

$5$ độ tự do phù hợp với sự suy yếu quá mức, và có thể tốt hơn.

— xác suất

@whuber Một lý do để thêm 1/6 vào số đếm là số lượng "bắt đầu" kết quả xấp xỉ với giá trị trung bình giả định phân phối nhị thức với Jeffreys trước (tôi viết một chút về điều này ở đây: sumsar.net/blog/2013/09/ a-bayesian-twist-on-tukeys-phao ). Tuy nhiên tôi không biết đây có phải là lý do của Tukey để thêm 1/6 không. Bạn có biết lý do của anh ấy có thể là gì không?

— Rasmus Bååth

x

$x$

x_{i} < x

$x_i\lt x$

x_{i} = x

$x_i=x$

(x_{i})

$(x_i)$

— whuber