Là trung bình công bằng hơn có nghĩa là?

Gần đây tôi đã đọc lời khuyên rằng bạn thường nên sử dụng trung bình không có nghĩa là để loại bỏ các ngoại lệ. Ví dụ: Bài viết sau http://www.amazon.com/Forensic-Science-Intributiontion-Sellectific-Investigative/product-reviews/1420064932/

có 16 đánh giá tại thời điểm này:

review= c(5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 4, 4, 3, 2, 1, 1)
summary(review)  ## "ordinary" summary

Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
1.000   3.750   5.000   4.062   5.000   5.000 

Bởi vì họ sử dụng Có nghĩa là bài viết được 4 sao nhưng nếu họ sử dụng Median thì sẽ nhận được 5 sao.

Không phải là trung bình một thẩm phán 'công bằng hơn?

Một thí nghiệm cho thấy rằng sai số trung vị luôn lớn hơn trung bình. Là trung bình tồi tệ hơn?

library(foreach)

#the overall population of bookjudgments
n<-5
p<-0.5
expected.value<-n*p
peoplesbelieve <-rbinom(10^6,n, p)

#16 ratings made for 100 books
ratings <- foreach(i=1:100, .combine=rbind) %do% sample(peoplesbelieve,16)
stat <- foreach(i=1:100, .combine=rbind) %do% c(mean=mean(ratings[i,]), median=median(ratings[i,]))

#which mean square error is bigger? Mean's or Median's?
meansqrterror.mean<-mean((stat[,"mean"]-expected.value)^2)
meansqrterror.median<-mean((stat[,"median"]-expected.value)^2)

res<-paste("mean MSE",meansqrterror.mean)
res<-paste(res, "| median MSE", meansqrterror.median)
print(res)

Vấn đề là bạn chưa thực sự xác định ý nghĩa của việc có một đánh giá tốt hay công bằng. Bạn đề nghị trong một nhận xét về câu trả lời của @ Kevin rằng bạn không thích nó nếu một đánh giá xấu làm mất một mục. Nhưng so sánh hai mục trong đó một mục có "hồ sơ hoàn hảo" và mục còn lại có một đánh giá xấu, có lẽ sự khác biệt đó cần được phản ánh.

Có một sự liên tục (chiều cao) toàn bộ giữa trung bình và trung bình. Bạn có thể sắp xếp các phiếu theo giá trị, sau đó lấy trung bình có trọng số với các trọng số tùy thuộc vào vị trí theo thứ tự đó. Giá trị trung bình tương ứng với tất cả các trọng số bằng nhau, trung bình chỉ tương ứng với một hoặc hai mục ở giữa có trọng lượng khác không, trung bình cắt tương ứng với việc cho tất cả ngoại trừ trọng lượng của cặp đầu tiên và cuối cùng, nhưng bạn cũng có thể quyết định cân trong số mẫu có trọng số hoặc , để ném một cái gì đó ngẫu nhiên trong đó. Có lẽ một trung bình có trọng số như vậy trong đó các ngoại lệ có trọng lượng ít hơn, nhưng vẫn là một số lượng khác không, có thể kết hợp các đặc tính tốt của trung bình và trung bình?$k$$n$$\frac{1}{1 + (2 k - 1 - n)^2}$$\exp(-\frac{(2k - 1 - n)^2}{n^2})$

Câu trả lời bạn nhận được phụ thuộc vào câu hỏi bạn hỏi.

Trung bình và trung bình trả lời các câu hỏi khác nhau. Vì vậy, họ đưa ra câu trả lời khác nhau. Không phải cái nào "công bằng" hơn cái khác. Giá trị trung bình thường được sử dụng với dữ liệu sai lệch cao (như thu nhập). Nhưng, ngay cả ở đó, đôi khi có nghĩa là tốt nhất. Và đôi khi bạn không muốn BẤT CỨ xu hướng trung tâm nào.

Ngoài ra, bất cứ khi nào bạn đưa ra một thước đo về xu hướng trung tâm, bạn nên đưa ra một số biện pháp lây lan. Các cặp phổ biến nhất là độ lệch chuẩn trung bình và phạm vi giữa các dải. Trong những dữ liệu này, tôi nghĩ chỉ đưa ra trung vị là 5, gây hiểu lầm, hoặc, ít nhất là, không chính xác. Trung vị cũng sẽ là 5 nếu mỗi phiếu bầu là 5.

Nếu các lựa chọn duy nhất là số nguyên trong phạm vi từ 1 đến 5, liệu có thể thực sự được coi là ngoại lệ không?

Tôi chắc chắn rằng với kích thước mẫu nhỏ, các thử nghiệm ngoại lệ phổ biến sẽ thất bại, nhưng điều đó chỉ chỉ ra các vấn đề cố hữu trong các mẫu nhỏ. Thật vậy, đã cho một mẫu 5, 5, 5, 5, 5, 1, báo cáo thử nghiệm của Grubbs 1 như một ngoại lệ tại . Thử nghiệm tương tự cho dữ liệu bạn cung cấp ở trên không xác định 1 là ngoại lệ.$\alpha = 0.05$

Grubbs test for one outlier

data:  review  G = 2.0667, U = 0.6963,
p-value = 0.2153 alternative
hypothesis: lowest value 1 is an outlier

Một thí nghiệm cho thấy rằng sai số trung vị luôn lớn hơn trung bình.

Nó phụ thuộc vào chức năng chi phí bạn sử dụng.

MSE được giảm thiểu bằng trung bình. Do đó, nếu bạn sử dụng trung bình MSE sẽ luôn tệ hơn bình thường.

NHƯNG, nếu bạn sử dụng lỗi tuyệt đối, thì trung bình sẽ tệ hơn!

Một lời giải thích hay về điều này có thể được tìm thấy ở đây: http://www.johnmyleswhite.com/notebook/2013/03/22/modes-medians-and-means-an-unifying-pers perspective /

Sự lựa chọn phụ thuộc vào vấn đề và sở thích của bạn. Nếu bạn không muốn các ngoại lệ có tác động lớn đến vị trí của "điểm trung tâm", thì bạn chọn trung vị. Nếu bạn quan tâm đến các ngoại lệ, bạn chọn có nghĩa.

Chỉ cần suy nghĩ nhanh:

Nếu bạn giả định rằng mỗi xếp hạng được rút ra từ một biến liên tục tiềm ẩn, thì bạn có thể xác định trung vị của biến quan tâm liên tục cơ bản này là giá trị quan tâm của bạn, thay vì giá trị trung bình của phân phối cơ bản này. Trong trường hợp phân phối đối xứng, thì giá trị trung bình và trung bình cuối cùng sẽ được ước tính cùng một đại lượng. Trường hợp phân phối bị lệch, trung vị sẽ khác với giá trị trung bình. Trong trường hợp này, theo tôi, trung vị sẽ tương ứng nhiều hơn với những gì chúng ta nghĩ là giá trị tiêu biểu. Điều này đi một số cách để hiểu tại sao thu nhập trung bình và giá nhà trung bình thường được báo cáo thay vì giá trị trung bình.

Tuy nhiên, khi bạn có một số lượng nhỏ các giá trị rời rạc, trung vị hoạt động kém.

Có lẽ, bạn có thể sử dụng một số thủ tục ước tính mật độ và sau đó lấy trung vị của điều đó, hoặc sử dụng một số trung vị nội suy.

Điều tuyệt vời khi sử dụng trung vị cho xếp hạng sao là người dùng thông minh (nhận thức được việc sử dụng trung bình) sẽ không "chơi" hệ thống:

Nếu người dùng hợp lý cho rằng xếp hạng phù hợp phải là 4 sao, nhưng hiện tại có 4,5 sao, thì cách tốt nhất để đạt được bốn sao (giả sử đã có hơn sáu phiếu) là bỏ phiếu 1 sao trong hệ thống xếp hạng trung bình .

Mặc dù trong một hệ thống dựa trên trung bình, lựa chọn hợp lý của người dùng chỉ đơn giản là bỏ phiếu chính xác số sao mà người dùng nghĩ rằng sản phẩm nên có.

Đây là loại đấu giá giá thứ hai tương đương với các hệ thống xếp hạng sao.

Một số câu trả lời tốt vẫn còn chừa chỗ cho nhiều ý kiến ​​hơn.

Đầu tiên, không ai phản đối ý kiến ​​cho rằng trung vị là nhằm loại bỏ các ngoại lệ, nhưng tôi sẽ đủ điều kiện. Ý nghĩa dự định là hiển nhiên, nhưng dữ liệu thực tế lại phức tạp hơn. Nhiều nhất, trung vị được dự định giảm giá hoặc bỏ qua các ngoại lệ, nhưng ngay cả điều đó không được đảm bảo. Ví dụ: với xếp hạng 1 1 1 5 5 5 trung bình và trung bình đồng ý ở mức 3, vì vậy tất cả có vẻ tốt. Nhưng thêm 5 sẽ đưa trung bình lên 5 và thêm 1 sẽ đưa trung bình lên 1. Trung bình sẽ di chuyển khoảng 0,286 trong mỗi trường hợp. Do đó, giá trị trung bình ở đây là kháng hơn so với trung bình. Ví dụ có thể được bác bỏ là không bình thường, nhưng nó không thái quá. Điểm không phải là bản gốc, tự nhiên. Một nơi nó được tạo ra là ở Mosteller, F. và Tukey, JW 1977. Phân tích và hồi quy dữ liệu. Đọc, MA: Addison-Wesley, tr.34-35.

Thứ hai, phương tiện cắt tỉa đã được đề cập và ý tưởng xứng đáng được thúc đẩy lớn hơn. Trung bình và trung bình không cần phải là lựa chọn thay thế rõ ràng để nhà phân tích phải chọn (bỏ phiếu cho) cái này hay cái khác. Bạn có thể xem xét tất cả các phương tiện được cắt tỉa có thể dựa trên việc cắt xén một số giá trị nhất định trong mỗi đuôi . Bảng hiển thị dưới dạng # số lượng giá trị được bao gồm trong phép tính giá trị trung bình:

  +----------------------------+
  | number    #   trimmed mean |
  |----------------------------|
  |      0   16         4.0625 |
  |      1   14       4.214286 |
  |      2   12       4.416667 |
  |      3   10            4.6 |
  |      4    8           4.75 |
  |      5    6       4.833333 |
  |      6    4              5 |
  |      7    2              5 |
  +----------------------------+

Bức tranh chính ở đây là bạn có thể chọn tỷ lệ chiết khấu của mình (bỏ qua rất nhiều giá trị ở mỗi đuôi là nghi ngờ) như một loại bảo hiểm chống lại rủi ro bị tắt vì giá trị cực đoan. Những gì tôi thấy là một độ dốc khá mịn giữa giá trị trung bình và trung bình, được dự kiến ​​ở đây vì các giá trị có thể 1, 2, 3, 4, 5 đều có trong dữ liệu. Một bước nhảy lớn trong chuỗi được dự kiến ​​với một ngoại lệ bị cô lập.

Không có nghĩa vụ với các phương tiện cắt xén để cắt số lượng bằng nhau ở mỗi đuôi, nhưng tôi sẽ không mở rộng về điều đó.

Thứ ba, ví dụ là các đánh giá của Amazon. Bối cảnh luôn thích hợp trong việc hướng dẫn cách bạn muốn dữ liệu được tóm tắt . Trong trường hợp Amazon đánh giá, câu trả lời tốt nhất là đọc các đánh giá! Vì điểm cao và điểm thấp có thể giống nhau trên cơ sở giả mạo (ngầm: tác giả của cuốn sách này là bạn của tôi) và / hoặc không liên quan đến quyết định của bạn (rõ ràng: người bán lại đối xử tệ với tôi), không rõ ràng với tôi hàm ý về cách tóm tắt dữ liệu đó và thực sự bằng cách hiển thị cho bạn phân phối Amazon đang được cung cấp thông tin tối đa.

Thứ tư, và cơ bản nhất nhưng cũng cơ bản của tất cả, ai đang khiến bạn chọn? Đôi khi cả trung bình và trung bình nên được báo cáo (và, như đã nói, một biểu đồ phân phối quá).