Có phải xếp hạng trung bình của Amazon là xếp hạng sai lệch?

Nếu tôi hiểu chính xác, xếp hạng sách theo thang điểm 1-5 là điểm số Likert. Đó là, 3 đối với tôi có thể không nhất thiết là 3 đối với người khác. Đó là một quy mô IMO quy mô. Một người không nên thực sự quy mô trung bình nhưng chắc chắn có thể có chế độ, trung bình và phần trăm.

Vì vậy, liệu có ổn không khi bẻ cong các quy tắc vì phần lớn dân số hiểu ý nghĩa hơn các thống kê trên? Mặc dù cộng đồng nghiên cứu quở trách mạnh mẽ lấy trung bình dữ liệu dựa trên thang đo Likert, nhưng liệu có tốt không khi làm điều này với số đông (nói thực tế)? Là lấy trung bình trong trường hợp này thậm chí gây hiểu lầm để bắt đầu với?

Có vẻ như một công ty như Amazon sẽ không tìm ra số liệu thống kê cơ bản, nhưng nếu không thì tôi còn thiếu gì ở đây? Chúng ta có thể tuyên bố rằng thang đo thứ tự là một xấp xỉ thuận tiện với thứ tự để biện minh cho việc lấy giá trị trung bình không? Trên cơ sở nào?

Lợi ích của việc sử dụng giá trị trung bình để tóm tắt xu hướng trung tâm của xếp hạng 5 điểm

Như @gung đã đề cập, tôi nghĩ rằng thường có những lý do rất chính đáng để lấy ý nghĩa của một mục năm điểm làm chỉ số của xu hướng trung tâm. Tôi đã vạch ra những lý do này ở đây .

Để diễn dải:

1. giá trị trung bình dễ tính
2. Có nghĩa là trực quan và hiểu rõ
3. Giá trị trung bình là một số duy nhất
4. Các chỉ số khác thường mang lại thứ tự xếp hạng tương tự của các đối tượng

Tại sao ý nghĩa là tốt cho Amazon

Hãy suy nghĩ về các mục tiêu của Amazon trong báo cáo trung bình. Họ có thể đang nhắm đến

• cung cấp một đánh giá trực quan và dễ hiểu cho một mặt hàng
• đảm bảo người dùng chấp nhận hệ thống xếp hạng
• đảm bảo rằng mọi người hiểu ý nghĩa của xếp hạng để họ có thể sử dụng nó một cách thích hợp để thông báo quyết định mua hàng

Amazon cung cấp một số loại trung bình được làm tròn, tần số đếm cho từng tùy chọn xếp hạng và kích thước mẫu (nghĩa là số lượng xếp hạng). Thông tin này có lẽ đủ để hầu hết mọi người đánh giá cao cả tình cảm chung về mặt hàng và sự tin tưởng vào xếp hạng đó (nghĩa là 4,5 với 20 xếp hạng có nhiều khả năng chính xác hơn 4,5 với 2 xếp hạng; một mặt hàng có 10 5 xếp hạng sao và một xếp hạng 1 sao không có nhận xét vẫn có thể là một mục tốt).

Bạn thậm chí có thể xem ý nghĩa là một lựa chọn dân chủ. Nhiều cuộc bầu cử được quyết định dựa trên ứng cử viên nào có ý nghĩa cao nhất trên thang điểm hai. Tương tự, nếu bạn đưa ra lập luận rằng mỗi người gửi đánh giá đều được bình chọn, thì bạn có thể thấy giá trị trung bình là một hình thức có trọng số của mỗi người bình chọn.

Là sự khác biệt trong quy mô sử dụng thực sự là một vấn đề?

Có một loạt các khuynh hướng xếp hạng được biết đến trong tài liệu tâm lý học (để đánh giá, xem Saal et al 1980), chẳng hạn như xu hướng trung tâm, thiên vị khoan hồng, thiên vị nghiêm ngặt. Ngoài ra, một số người xếp loại sẽ độc đoán hơn và một số người sẽ đáng tin cậy hơn. Một số thậm chí có thể nói dối một cách có hệ thống đưa ra các đánh giá tiêu cực giả hoặc giả. Điều này sẽ tạo ra các dạng lỗi khác nhau khi cố gắng tính xếp hạng trung bình thực cho một mục.

Tuy nhiên, nếu bạn lấy một mẫu dân số ngẫu nhiên, những thành kiến ​​như vậy sẽ hủy bỏ và với một cỡ mẫu của những người xếp loại, bạn vẫn sẽ có được ý nghĩa thực sự.

Tất nhiên, bạn không nhận được một mẫu ngẫu nhiên trên Amazon và có nguy cơ rằng bộ tỷ lệ cụ thể bạn nhận được cho một mặt hàng bị sai lệch một cách có hệ thống để trở nên khoan dung hoặc nghiêm ngặt hơn, v.v. Điều đó nói rằng, tôi nghĩ rằng người dùng của Amazon sẽ đánh giá cao việc người dùng gửi xếp hạng đến từ một mẫu không hoàn hảo. Tôi cũng nghĩ rằng rất có thể với một cỡ mẫu hợp lý mà trong nhiều trường hợp, phần lớn các khác biệt về độ lệch phản hồi sẽ bắt đầu biến mất.

Những tiến bộ có thể vượt quá mức trung bình

Về mặt cải thiện độ chính xác của xếp hạng, tôi sẽ không thách thức khái niệm chung về giá trị trung bình, nhưng tôi nghĩ có nhiều cách khác để ước tính xếp hạng trung bình dân số thực sự cho một mặt hàng (nghĩa là xếp hạng trung bình sẽ đạt được là một mẫu đại diện lớn được yêu cầu đánh giá các mặt hàng).

• Cân nặng dựa trên sự đáng tin cậy của họ
• Sử dụng hệ thống xếp hạng Bayes ước tính xếp hạng trung bình dưới dạng tổng trọng số của xếp hạng trung bình cho tất cả các mục và giá trị trung bình từ mục cụ thể và tăng trọng số cho mục cụ thể khi số lượng xếp hạng tăng
• Điều chỉnh thông tin của người đánh giá dựa trên bất kỳ xu hướng xếp hạng chung nào trên các mặt hàng (ví dụ: 5 từ một người thường cho 3 giây sẽ có giá trị cao hơn so với người thường đưa ra 4 giây).

Do đó, nếu độ chính xác trong xếp hạng là mục tiêu chính của Amazon, tôi nghĩ cần nỗ lực để tăng số lượng xếp hạng cho mỗi mặt hàng và áp dụng một số chiến lược trên. Cách tiếp cận như vậy có thể đặc biệt phù hợp khi tạo ra thứ hạng "tốt nhất". Tuy nhiên, đối với xếp hạng khiêm tốn trên trang, có thể mẫu có nghĩa là đáp ứng tốt hơn các mục tiêu của sự đơn giản và minh bạch.

Người giới thiệu

• Saal, FE, Downey, RG & Lahey, MA (1980). Xếp hạng xếp hạng: Đánh giá chất lượng tâm lý của dữ liệu xếp hạng .. Bản tin tâm lý, 88, 413.

Về mặt kỹ thuật ở đây, những xếp hạng đó không thực sự là thang đo Likert ; họ chỉ là xếp hạng thứ tự. Bây giờ, đã nói rằng, quan điểm của bạn về cơ bản là chính xác. Tuy nhiên, tôi thường nghĩ quá nhiều về vấn đề này. Một điều cần lưu ý là người ta thường hiểu rằng trung bình của một số mục thứ tự có thể xấp xỉ nhau, và do đó, khi có nhiều xếp hạng, giá trị trung bình trở thành một đại diện hợp lý hơn. Tôi đã tìm thấy câu trả lời này của @JeromyAnglim là tuyệt vời (thực sự, câu hỏi và tất cả các câu trả lời tiếp viên đều có giá trị đọc). Đối với một điều trị lý thuyết hơn, xem ở đây. Một lưu ý khác, tôi thích Amazon, nhưng tôi thấy không có lý do gì để mong đợi sự tinh tế thống kê từ họ, đặc biệt là về thiết kế trang web cơ bản - điểm quan trọng là sự tiện dụng của người tiêu dùng, không gây ấn tượng với các giáo sư thống kê.

Mọi người đều có ý kiến ​​tốt về điều này. Tôi thực sự không nghĩ rằng tôi có thể thêm nhiều hơn nữa. Tuy nhiên, tôi sẽ đăng bài này :

Theo kinh nghiệm của tôi, giá trị trung bình của dữ liệu theo thang đánh giá thường tương quan chặt chẽ nhất với mức độ của các số liệu trong thế giới thực mà chúng tôi cố gắng liên kết với thang đánh giá. Chúng tôi đã tìm thấy rất nhiều mối quan hệ tuyến tính, và do đó trung bình là một trong những cách tốt hơn để tóm tắt dữ liệu. Điều đó đang được nói, như Jeromy đã chỉ ra, hầu hết các cách phân tích xu hướng trung tâm của thang đánh giá sẽ cho kết quả tương tự (thứ tự xếp hạng, v.v.) trong hầu hết thời gian.

Ngoài ra, tôi nghi ngờ Amazon có lẽ không phải là tất cả những gì liên quan đến giá trị khoa học theo cách này hay cách khác. Cuối cùng, mục tiêu của Amazon là khiến mọi người mua sắm nhiều hơn trên Amazon.com và cách đánh giá giúp đạt được điều đó có thể sẽ không thay đổi với bất kỳ cách sử dụng tóm tắt một số nào. Sản phẩm tốt sẽ được thưởng, sản phẩm thực sự xấu bị trừng phạt và người mua lo lắng sẽ có cơ hội để xem xét ưu và nhược điểm chi tiết hơn.

Xếp hạng của Amazon là sai lệch do các công ty chơi game hệ thống. Khi khách hàng được giảm giá và hàng hóa miễn phí để đổi lấy các đánh giá 5 sao, "số liệu thống kê" về số thứ hạng hoặc phương tiện sẽ trở thành tranh luận.

Bạn làm cho một điểm tốt. Lấy giá trị trung bình của số thứ tự là hơi sai lệch. Bất kỳ tóm tắt nào của một số bảng xếp hạng sẽ bị ảnh hưởng bởi thực tế là chủ quan 3 của tôi có thể thực sự tương đương với 4. Vì vậy, việc kết hợp các điểm số khác nhau có lẽ là vấn đề lớn nhất. Giải thích trung bình của 3 và 4 là 3,5 gần như không quá lớn.