Đó là một thực tế được biết rằng trung vị chống lại các ngoại lệ. Nếu đó là trường hợp, khi nào và tại sao chúng ta sẽ sử dụng giá trị trung bình ở nơi đầu tiên?

Một điều tôi có thể nghĩ có lẽ là để hiểu sự hiện diện của các ngoại lệ, tức là nếu trung vị cách xa trung bình, thì phân phối bị lệch và có lẽ dữ liệu cần được kiểm tra để quyết định những gì sẽ được thực hiện với các ngoại lệ. Có công dụng nào khác không?

Theo một nghĩa nào đó, giá trị trung bình được sử dụng vì nó nhạy cảm với dữ liệu. Nếu phân phối xảy ra đối xứng và đuôi giống như phân phối bình thường, giá trị trung bình là một bản tóm tắt rất hiệu quả của xu hướng trung tâm. Trung vị, trong khi mạnh mẽ và được xác định rõ ràng cho bất kỳ phân phối liên tục nào, chỉ có hiệu quả như trung bình nếu dữ liệu xảy ra từ phân phối bình thường. Chính sự không hiệu quả tương đối này của trung vị khiến chúng ta không sử dụng nó nhiều hơn chúng ta làm. Sự kém hiệu quả tương đối chuyển thành một sự kém hiệu quả tuyệt đối nhỏ khi kích thước mẫu trở nên lớn, vì vậy đối với lớn, chúng ta có thể không cảm thấy tội lỗi hơn khi sử dụng trung bình.$\frac{2}{\pi}$$n$

Thật thú vị khi lưu ý rằng đối với thước đo biến đổi (độ lan truyền, độ phân tán), có một công cụ ước tính rất mạnh có hiệu suất 0,98 như độ lệch chuẩn, cụ thể là độ lệch trung bình của Gini. Đây là sự khác biệt tuyệt đối trung bình giữa bất kỳ hai quan sát. [Bạn phải nhân độ lệch chuẩn mẫu với một hằng số để ước tính cùng một lượng ước tính bằng chênh lệch trung bình của Gini.] Một thước đo hiệu quả của xu hướng trung tâm là công cụ ước lượng Hodges-Lehmann, nghĩa là trung bình của tất cả các phương tiện cặp. Chúng tôi sẽ sử dụng nó nhiều hơn nếu giải thích nó đơn giản hơn.

Đã có rất nhiều câu trả lời tuyệt vời, nhưng, lùi lại một bước và trở nên cơ bản hơn một chút, tôi sẽ nói đó là vì câu trả lời bạn nhận được phụ thuộc vào câu hỏi bạn hỏi. Giá trị trung bình và trung bình trả lời các câu hỏi khác nhau - đôi khi một là thích hợp, đôi khi khác.

Thật đơn giản để nói rằng trung vị nên được sử dụng khi có các ngoại lệ, hoặc cho các phân phối sai lệch, hoặc bất cứ điều gì. Nhưng không phải lúc nào cũng như vậy. Lấy thu nhập - gần như luôn được báo cáo với trung vị, và thường là đúng. Nhưng nếu bạn đang nhìn vào sức mạnh chi tiêu của cả một cộng đồng, nó có thể không đúng. Và trong một số trường hợp, ngay cả chế độ có thể là tốt nhất (đặc biệt nếu dữ liệu được nhóm lại).

Khi một giá trị là rác đối với chúng tôi, chúng tôi gọi nó là "outliar" và muốn phân tích mạnh mẽ với nó (và thích trung bình hơn); khi cùng một giá trị đó là hấp dẫn, chúng tôi gọi nó là "cực đoan" và muốn phân tích nhạy cảm với nó (và thích trung bình hơn). Phép biện chứng ...

Giá trị trung bình phản ứng như nhau đối với sự thay đổi của giá trị bất kể nơi nào trong phân phối diễn ra sự thay đổi. Ví dụ: trong 1 2 3 4 5bạn có thể tăng bất kỳ giá trị nào lên 2 - mức tăng của giá trị trung bình sẽ giống nhau. Phản ứng của Median ít "nhất quán" hơn: thêm 2 vào điểm dữ liệu 4 hoặc 5 và trung bình sẽ không tăng; nhưng thêm 2 vào điểm 2 - sao cho sự thay đổi vượt qua trung vị và trung vị thay đổi đáng kể (rất nhiều so với trung bình sẽ thay đổi).

Có nghĩa là luôn luôn chính xác nằm. Trung bình là không; ví dụ, trong tập hợp 1 2 3 4 bất kỳ giá trị nào giữa 2 và 3 có thể được gọi là trung vị. Do đó, các phân tích dựa trên trung vị không phải lúc nào cũng là giải pháp duy nhất.

Trung bình là một quỹ tích của độ lệch bình phương tối thiểu. Nhiều tác vụ tối ưu hóa dựa trên đại số tuyến tính (bao gồm hồi quy OLS nổi tiếng) giảm thiểu lỗi bình phương này và do đó ngụ ý khái niệm trung bình. Trung vị một quỹ tích của độ lệch tổng tuyệt đối tối thiểu. Các kỹ thuật tối ưu hóa để giảm thiểu lỗi như vậy là phi tuyến tính và phức tạp hơn / được biết đến ít hơn.

Có rất nhiều câu trả lời cho câu hỏi này. Đây là một cái mà bạn có thể sẽ không thấy ở nơi nào khác vì vậy tôi đưa nó vào đây bởi vì tôi tin rằng nó phù hợp với chủ đề này. Mọi người thường tin rằng vì trung vị được coi là một biện pháp mạnh mẽ đối với các ngoại lệ nên nó cũng mạnh mẽ đối với hầu hết mọi thứ. Trên thực tế, nó cũng được coi là mạnh mẽ để thiên vị trong phân phối sai lệch. Hai tính chất mạnh mẽ của trung vị thường được dạy cùng nhau. Người ta có thể lưu ý rằng các phân phối sai lệch cơ bản cũng có xu hướng tạo ra các mẫu nhỏ trông giống như chúng có các ngoại lệ và sự khôn ngoan thông thường là người ta sử dụng trung bình trong các tình huống như vậy.

#function to generate random values from a skewed distribution
rexg <- function (n, m, sig, tau) {
    rexp(n, rate = 1/tau) + rnorm(n, mean = m, sd = sig)
    }

(chỉ là một minh chứng rằng điều này bị lệch và hình dạng cơ bản)

hist(rexg(1e4, 0, 1, 1))

Bây giờ, hãy xem điều gì xảy ra nếu chúng ta lấy mẫu từ phân phối kích cỡ mẫu khác nhau này và tính toán trung bình và có nghĩa là để xem sự khác biệt giữa chúng là gì.

#generate values with various n's
N <- 1e4
ns <- 2:30
y <- sapply(ns, function(x) mean(apply(matrix(rexg(x*N, 0, 1, 1), ncol = N), 2, median)))
plot(ns,y, type = 'l', ylim = c(0.85, 1.03), col = 'red') 
y <- sapply(ns, function(x) mean(colMeans(matrix(rexg(x*N, 0, 1, 1), ncol = N))))
lines(ns,y)

Như có thể thấy từ âm mưu trên, trung vị (màu đỏ) nhạy cảm hơn nhiều so với giá trị trung bình. Điều này trái với một số sự khôn ngoan thông thường liên quan đến việc sử dụng trung bình với ns thấp, đặc biệt là nếu phân phối có thể bị sai lệch. Và, nó củng cố quan điểm rằng giá trị trung bình là một giá trị đã biết trong khi trung vị nhạy cảm với các thuộc tính khác, một giá trị nếu là n.

Phân tích này tương tự như Miller, J. (1988). Một cảnh báo về thời gian phản ứng trung bình. Tạp chí Tâm lý học Thực nghiệm: Nhận thức và Hiệu suất của Con người , 14 (3): 539 trừ543.

CÁCH MẠNG

Khi nghĩ về vấn đề sai lệch, tôi đã nghĩ rằng tác động lên trung vị có thể chỉ là do trong các mẫu nhỏ, bạn có xác suất lớn hơn là trung vị nằm ở đuôi phân phối, trong khi giá trị trung bình sẽ luôn luôn được cân nhắc bởi các giá trị gần hơn với chế độ. Do đó, có lẽ nếu người ta chỉ lấy mẫu với xác suất ngoại lệ thì có thể kết quả tương tự sẽ xảy ra.

Vì vậy, tôi đã nghĩ về các tình huống có thể xảy ra ngoại lệ và các nhà thí nghiệm có thể cố gắng loại bỏ chúng.

Nếu các ngoại lệ xảy ra một cách nhất quán, chẳng hạn như một trong mỗi lần lấy mẫu dữ liệu, thì các trung vị sẽ mạnh mẽ chống lại tác động của ngoại lệ này và câu chuyện thông thường về việc sử dụng các giá trị trung bình.

Nhưng đó không phải là cách mọi thứ diễn ra.

Người ta có thể tìm thấy một ngoại lệ trong rất ít tế bào của một thí nghiệm và quyết định sử dụng trung bình thay vì trung bình trong trường hợp này. Một lần nữa, trung vị mạnh hơn nhưng tác động thực tế của nó là tương đối nhỏ vì có rất ít ngoại lệ. Đây chắc chắn sẽ là một trường hợp phổ biến hơn sau đó là trường hợp trên nhưng hiệu quả của việc sử dụng trung bình có lẽ sẽ rất nhỏ đến mức nó sẽ không quan trọng lắm.

Có lẽ phổ biến hơn các ngoại lệ có thể là một thành phần ngẫu nhiên của dữ liệu. Ví dụ, độ lệch trung bình và độ lệch chuẩn của dân số có thể là khoảng 0 nhưng có một tỷ lệ phần trăm thời gian chúng ta lấy mẫu từ dân số ngoại lệ trong đó trung bình là 3. Hãy xem xét mô phỏng sau, trong đó chỉ một dân số được lấy mẫu thay đổi mẫu kích thước.

#generate n samples N times with an outp probability of an outlier.
rout <- function (n, N, outp) {
    outPos <- sample(0:1,n*N, replace = TRUE, prob = c(1-outp,outp))
    numOutliers <- sum(outPos)
    y <- matrix( rnorm(N*n), ncol = N )
    y[which(outPos==1)] <- rnorm(numOutliers, 4)
    return(y)
    }

outp <- 0.1
N <- 1e4
ns <- 3:30
yMed <- sapply(ns, function(x) mean(apply(rout(x,N,outp), 2, median)))
var(yMed)
yM <- sapply(ns, function(x) mean(colMeans(rout(x,N,outp))))
var(yM)
plot(ns,yMed, type = 'l', ylim = range(c(yMed,yM)), ylab = 'Y', xlab = 'n', col = 'red') 
lines(ns,yM)

Trung vị là màu đỏ và có nghĩa là màu đen. Đây là một phát hiện tương tự như phân phối sai lệch.

Trong một ví dụ tương đối thực tế về việc sử dụng trung vị để tránh ảnh hưởng của các ngoại lệ, người ta có thể đưa ra các tình huống trong đó ước tính bị ảnh hưởng nhiều hơn khi sử dụng trung bình so với khi sử dụng giá trị trung bình.

• Từ trung bình, thật dễ dàng để tính tổng trên tất cả các mục, ví dụ: nếu bạn biết thu nhập trung bình của dân số và quy mô dân số, bạn có thể tính ngay tổng thu nhập của toàn bộ dân số.

• Giá trị trung bình là đơn giản để tính toán trong O(n)độ phức tạp thời gian. Tính toán trung vị trong thời gian tuyến tính là có thể nhưng đòi hỏi nhiều suy nghĩ hơn. Các giải pháp rõ ràng đòi hỏi sắp xếp có O(n log n)độ phức tạp thời gian ( ) tồi tệ hơn .

Và tôi suy đoán rằng có một lý do khác cho việc có nghĩa là phổ biến hơn so với trung bình:

• Giá trị trung bình được dạy cho nhiều người hơn ở trường và có lẽ nó được dạy trước khi dạy trung bình

"Người ta biết rằng trung vị chống lại các ngoại lệ. Nếu đó là trường hợp, khi nào và tại sao chúng ta sẽ sử dụng giá trị trung bình ở vị trí đầu tiên?"

Trong trường hợp người ta biết không có ngoại lệ, ví dụ khi người ta biết quá trình tạo dữ liệu (ví dụ như trong thống kê toán học).

Chúng ta nên chỉ ra một điều tầm thường, rằng, hai đại lượng này (trung bình và trung bình) thực sự không đo lường cùng một thứ và hầu hết người dùng yêu cầu cái trước khi cái mà họ thực sự quan tâm đến cái sau (điểm này được minh họa rõ bởi các xét nghiệm Wilcoxon dựa trên trung vị dễ hiểu hơn các xét nghiệm t).

Sau đó, có những trường hợp vì lý do tình huống này hay lý do khác, một số quy định áp đặt việc sử dụng ý nghĩa của anh ta.

Nếu mối quan tâm là sự hiện diện của các ngoại lệ, có một số cách đơn giản để kiểm tra dữ liệu của bạn.

Các ngoại lệ, gần như theo định nghĩa, đi vào dữ liệu của chúng tôi khi có gì đó thay đổi trong quá trình tạo dữ liệu hoặc trong quá trình thu thập dữ liệu. tức là dữ liệu không còn đồng nhất. Nếu dữ liệu của bạn không đồng nhất thì cả trung bình và trung bình đều không có ý nghĩa gì, vì bạn đang cố ước tính xu hướng trung tâm của hai bộ dữ liệu riêng biệt được trộn lẫn với nhau.

Phương pháp tốt nhất để đảm bảo tính đồng nhất là kiểm tra các quy trình tạo và thu thập dữ liệu để đảm bảo rằng tất cả dữ liệu của bạn đến từ một bộ quy trình. Không có gì đánh bại một chút năng lực não bộ, ở đây.

Khi kiểm tra thứ cấp, bạn có thể chuyển sang một trong một số kiểm tra thống kê: kiểm tra bình phương, kiểm tra Q của Dixon, kiểm tra của Grubb hoặc biểu đồ kiểm soát / biểu đồ hành vi xử lý (thường là X-bar R hoặc XmR). Kinh nghiệm của tôi là, khi dữ liệu của bạn có thể được sắp xếp khi nó được thu thập, các biểu đồ hành vi quá trình sẽ tốt hơn trong việc phát hiện các ngoại lệ so với các thử nghiệm ngoại lệ. Việc sử dụng này cho các biểu đồ có thể gây tranh cãi, nhưng tôi tin rằng nó hoàn toàn phù hợp với mục đích ban đầu của Shewhart và nó là một cách sử dụng được Donald Wheeler ủng hộ rõ ràng . Cho dù bạn sử dụng các bài kiểm tra ngoại lệ hoặc biểu đồ hành vi quy trình, hãy nhớ rằng "ngoại lệ" được phát hiện chỉ là tiềm năng báo hiệukhông đồng nhất cần được kiểm tra thêm. Sẽ hiếm khi có ý nghĩa để loại bỏ các điểm dữ liệu nếu bạn không có một số lời giải thích cho lý do tại sao chúng là ngoại lệ.

Nếu bạn đang sử dụng R, gói outliers cung cấp các bài kiểm tra ngoại lệ và đối với các biểu đồ hành vi xử lý có qcc , IQCC và qAnalyst. Tôi có một sở thích cá nhân cho việc sử dụng và đầu ra của gói qcc.

Khi nào bạn có thể muốn có nghĩa?

Ví dụ từ tài chính:

• Lợi nhuận trái phiếu:
  • Lợi nhuận trái phiếu trung bình thường sẽ là một vài điểm phần trăm.
  • Lợi tức trái phiếu trung bình có thể thấp hoặc cao tùy theo tỷ lệ mặc định và phục hồi theo mặc định. Các trung vị sẽ bỏ qua tất cả điều này!
  • Chúc may mắn giải thích cho các nhà đầu tư của bạn, "Tôi biết rằng quỹ của chúng tôi đã giảm 40% trong năm nay vì gần một nửa số trái phiếu đã bị phá vỡ mà không phục hồi, nhưng trái phiếu trung bình của chúng tôi đã trả lại 1%!"
• Hoàn vốn đầu tư mạo hiểm:
  • Điều tương tự ngược lại. Đầu tư trung bình của VC hoặc thiên thần là một sự phá sản, và tất cả sự trở lại đến từ một vài người chiến thắng! (Lưu ý / cảnh báo bên lề: ước tính vốn đầu tư mạo hiểm hoặc lợi nhuận cổ phần tư nhân rất có vấn đề ... hãy cẩn thận!)

Khi hình thành một danh mục đầu tư đa dạng, quyết định đầu tư vào cái gì và bao nhiêu, giá trị trung bình và hiệp phương sai có thể là yếu tố nổi bật trong vấn đề tối ưu hóa của bạn.