Làm cách nào tôi có thể tính toán tỷ lệ lỗi trong kết quả NPS (Net Promoter Score)?

Tôi sẽ để Wikipedia giải thích cách tính NPS :

Điểm Net Promoter đạt được bằng cách hỏi khách hàng một câu hỏi theo thang điểm từ 0 đến 10, trong đó 10 là "rất có thể" và 0 là "không có khả năng": "Bạn có thể giới thiệu công ty của chúng tôi đến mức nào bạn hay đồng nghiệp? " Dựa trên phản hồi của họ, khách hàng được phân loại thành một trong ba nhóm: Người quảng bá (xếp hạng 910), Người thụ động (xếp hạng 7 trên 8) và Người gièm pha (xếp hạng 0 đùa6). Tỷ lệ phần trăm của Người gièm pha sau đó được trừ vào phần trăm Người quảng bá để có được điểm Quảng cáo Net (NPS). NPS có thể thấp tới -100 (mọi người là kẻ gièm pha) hoặc cao tới +100 (mọi người đều là người quảng bá).

Chúng tôi đã chạy khảo sát này định kỳ trong vài năm. Chúng tôi nhận được hàng trăm phản hồi mỗi lần. Điểm số kết quả đã thay đổi 20-30 điểm trong suốt thời gian. Tôi đang cố gắng tìm ra các chuyển động điểm số là đáng kể, nếu có.

Nếu điều đó chỉ đơn giản là quá khó khăn, thì tôi cũng muốn thử tìm ra biên độ sai số dựa trên những điều cơ bản của phép tính. Biên độ lỗi của mỗi "thùng" (quảng bá, thụ động, gièm pha) là gì? Thậm chí có thể, biên độ lỗi là gì nếu tôi chỉ nhìn vào giá trị trung bình của điểm số, giảm dữ liệu xuống chỉ còn một số cho mỗi lần chạy khảo sát? Điều đó sẽ đưa tôi đến bất cứ nơi nào?

Bất kỳ ý tưởng ở đây là hữu ích. Ngoại trừ "không sử dụng NPS." Quyết định đó nằm ngoài khả năng thay đổi của tôi!

— Dan Dunn
nguồn

Câu trả lời:

Giả sử dân số, từ đó chúng tôi giả sử bạn đang lấy mẫu ngẫu nhiên, chứa tỷ lệ của người quảng bá, của thụ động và của kẻ gièm pha, với . Để mô hình hóa NPS, hãy tưởng tượng lấp đầy một chiếc mũ lớn với số lượng vé khổng lồ (một cho mỗi thành viên trong dân số của bạn) được gắn nhãn cho người quảng bá, cho người thụ động và cho người gièm pha, theo tỷ lệ nhất định, sau đó vẽ của họ một cách ngẫu nhiên. Các mẫu NPS là giá trị trung bình trên vé đã được rút ra. Các thực NPS được tính như giá trị trung bình của tất cả các vé trong mũ: đó là $p_1$ $p_0$ $p_{-1}$ $p_1+p_0+p_{-1}=1$ $+1$ $0$ $-1$ $n$ giá trị mong đợi (hoặc kỳ vọng ) của chiếc mũ.

Một công cụ ước tính tốt của NPS thực sự là NPS mẫu. NPS mẫu cũng có một kỳ vọng. Nó có thể được coi là trung bình của tất cả các mẫu NPS có thể. Kỳ vọng này xảy ra bằng với NPS thực sự. Các sai số chuẩn của NPS mẫu là thước đo bao nhiêu NPS mẫu của thường khác nhau giữa một mẫu ngẫu nhiên và khác. May mắn thay, chúng ta không phải tính toán tất cả các mẫu có thể để tìm SE: có thể tìm thấy nó đơn giản hơn bằng cách tính độ lệch chuẩn của vé trong mũ và chia cho . (Một điều chỉnh nhỏ có thể được thực hiện khi mẫu là một tỷ lệ đáng kể của dân số, nhưng điều đó không có khả năng cần thiết ở đây.) $\sqrt{n}$

Ví dụ: hãy xem xét dân số quảng cáo, thụ động và kẻ gièm pha. NPS thực sự là $p_1=1/2$ $p_0=1/3$ $p_{-1}=1/6$

NPS = = 1 \times 1 / 2 + 0 \times 1 / 3 + - 1 \times 1 / 6 = = 1 / 3.

$\mbox{NPS} = 1\times 1/2 + 0\times 1/3 + -1\times 1/6 = 1/3.$

Phương sai là do đó

\begin{aligned} Var (NPS) & = = (1 - NPS)^{2} \times p_{1} + (0 - NPS)^{2} \times p_{0} + (- 1 - NPS)^{2} \times p_{- 1} \\ = = (1 - 1 / 3)^{2} \times 1 / 2 + (0 - 1 / 3)^{2} \times 1 / 3 + (- 1 - 1 / 3)^{2} \times 1 / 6 \\ = = 5 / 9. \end{aligned}

$\eqalign{ \mbox{Var(NPS)} &= (1-\mbox{NPS})^2\times p_1 + (0-\mbox{NPS})^2\times p_0 + (-1-\mbox{NPS})^2\times p_{-1}\\ &=(1-1/3)^2\times 1/2 + (0-1/3)^2\times 1/3 + (-1-1/3)^2\times 1/6 \\ &= 5/9. }$

Các độ lệch chuẩn là căn bậc hai của này, khoảng bằng $0.75.$

Do đó, trong một mẫu của , bạn sẽ mong đợi quan sát NPS khoảng % với sai số chuẩn là khoảng %. $324$ $1/3 = 33$ $0.75/\sqrt{324}=$ $4.1$

Thực tế, bạn không biết độ lệch chuẩn của vé trong mũ, vì vậy bạn ước tính nó bằng cách sử dụng độ lệch chuẩn của mẫu thay thế. Khi chia cho căn bậc hai của kích thước mẫu, nó ước tính sai số chuẩn của NPS: ước tính này là biên sai số (MoE).

Với điều kiện bạn quan sát số lượng đáng kể của từng loại khách hàng (thông thường, khoảng 5 hoặc nhiều hơn mỗi người sẽ làm), việc phân phối NPS mẫu sẽ gần với Bình thường. Điều này ngụ ý bạn có thể diễn giải MoE theo những cách thông thường. Cụ thể, khoảng 2/3 thời gian NPS mẫu sẽ nằm trong một MoE của NPS thật và khoảng 19/20 thời gian (95%) NPS mẫu sẽ nằm trong hai MoE của NPS thật. Trong ví dụ, nếu tỷ lệ sai số thực sự là 4,1%, chúng tôi sẽ có độ tin cậy 95% rằng kết quả khảo sát (NPS mẫu) nằm trong khoảng 8.2% của NPS dân số.

Mỗi khảo sát sẽ có biên độ sai số riêng. Để so sánh hai kết quả như vậy, bạn cần tính đến khả năng xảy ra lỗi trong mỗi kết quả. Khi kích thước khảo sát là như nhau, sai số chuẩn của sự khác biệt có thể được tìm thấy bởi một định lý Pythagore: lấy căn bậc hai của tổng bình phương của chúng. Chẳng hạn, nếu một năm, MoE là 4,1% và một năm khác thì MoE là 3,5%, thì gần như chỉ ra một biên độ sai số xung quanh = 5,4% cho sự khác biệt trong hai kết quả đó. Trong trường hợp này, bạn có thể kết luận với độ tin cậy 95% rằng NPS dân số đã thay đổi từ khảo sát này sang khảo sát khác với điều kiện chênh lệch trong hai kết quả khảo sát là 10,8% hoặc cao hơn. $\sqrt{3.5^2+4.1^2}$

Khi so sánh nhiều kết quả khảo sát theo thời gian, các phương pháp tinh vi hơn có thể giúp ích, bởi vì bạn phải đối phó với nhiều lỗi sai khác nhau. Khi các lề của lỗi khá giống nhau, một nguyên tắc thô sơ là coi sự thay đổi của ba hoặc nhiều MoE là "đáng kể". Trong ví dụ này, nếu MoEs lơ lửng khoảng 4%, thì thay đổi khoảng 12% hoặc lớn hơn trong khoảng thời gian của một số khảo sát phải thu hút sự chú ý của bạn và những thay đổi nhỏ hơn có thể được coi là lỗi khảo sát. Bất kể, phân tích và quy tắc ngón tay cái được cung cấp ở đây thường cung cấp một khởi đầu tốt khi suy nghĩ về sự khác biệt giữa các khảo sát có thể có nghĩa gì.

Lưu ý rằng bạn không thể tính toán biên sai số từ NPS được quan sát: nó phụ thuộc vào số lượng quan sát của từng loại trong số ba loại người trả lời. Ví dụ: nếu hầu hết mọi người đều là "thụ động", thì NPS khảo sát sẽ ở gần với sai số rất nhỏ. Nếu dân số được phân cực bằng nhau giữa người quảng bá và người gièm pha, NPS khảo sát sẽ vẫn ở gần nhưng sẽ có biên sai số lớn nhất có thể (bằng trong một mẫu gồm người). $0$ $0$ $1/\sqrt{n}$ $n$

— whuber
nguồn

Đây là một câu trả lời tuyệt vời. Tôi đánh giá rất cao nó.

— Dan Dunn

Không phải "lề lỗi" thường được hiểu là khoảng tin cậy 95% cho một thống kê được rút ra từ một mẫu? tức là khoảng 1,96 sai số chuẩn lấy mẫu (hoặc độ lệch chuẩn) của thống kê đó. Bạn sử dụng lề lỗi là đồng nghĩa với "độ lệch chuẩn của thống kê" hoặc "lỗi chuẩn".

— Peter Ellis

Cảm ơn @whuber. Tôi cố gắng không bao giờ tranh luận về thuật ngữ miễn là nó được xác định rõ ràng (nguyên tắc Humpty Dumpty), và tôi nghĩ rằng con ngựa đã bắt đầu theo một quy ước nhất quán về điều này. Bằng chứng duy nhất tôi có là một câu trả lời cho câu hỏi của riêng tôi tại stats.stackexchange.com/questions/21139/ , ghi chú chính xác rằng tỷ lệ lỗi thường được trích dẫn (không phổ biến) được trích dẫn theo tỷ lệ phần trăm của ước tính.

— Peter Ellis

@Charles, tôi nghĩ rằng whuber đang thực hiện một phương sai cơ bản của một biến ngẫu nhiên rời rạc. Xem stat.yale.edu/Cifts/1997-98/101/rvmnvar.htm

— B_Miner

Biểu thức cho phương sai có thể được đơn giản hóa thành .

V a r = p_{1} + p_{- 1} - N P S^{2}

$Var = p_1 + p_{-1} - NPS^2$

— Stephen McAteer

Bạn cũng có thể sử dụng công cụ ước tính phương sai cho các biến liên tục. Trên thực tế, tôi thích nó hơn công cụ ước lượng phương sai cho biến rời rạc ngẫu nhiên, vì có một hiệu chỉnh nổi tiếng để tính toán phương sai mẫu: https://en.wikipedia.org/wiki/Unbiased_estimation_of_stiteria_deviation Như những người khác đã lưu ý, giải pháp Whubers được dựa trên các công thức dân số. Tuy nhiên, vì bạn đang thực hiện một cuộc khảo sát, tôi khá chắc chắn rằng bạn đã vẽ một mẫu, vì vậy tôi khuyên bạn nên sử dụng công cụ ước tính không thiên vị (chia tổng bình phương cho n-1, không chỉ cho n). Tất nhiên, đối với các cỡ mẫu lớn, sự khác biệt giữa công cụ ước lượng sai lệch và không thiên vị là hầu như không tồn tại.

Tôi cũng khuyên bạn nên sử dụng quy trình kiểm tra t, nếu bạn có cỡ mẫu trung bình, thay vì sử dụng phương pháp điểm z: https://en.wikipedia.org/wiki/Student 's_t-test

@whuber: vì những người khác cũng đã hỏi nó: làm thế nào người ta sẽ tính toán công cụ ước lượng mẫu không thiên vị cho phương sai / sd cho cách tiếp cận biến rời rạc ngẫu nhiên của bạn? Tôi đã cố gắng tự mình tìm kiếm nhưng không thành công. Cảm ơn.

— deschen
nguồn

Bạn có khả năng có thể sử dụng bootstrap để đơn giản hóa các tính toán của bạn. Trong R mã sẽ là:

library(bootstrap)

NPS=function(x){
  if(sum(!x%%1==0)>0){stop("Non-integers found in the scores.")}
  if(sum(x>10|x<0)>0){stop("Scores not on scale of 0 to 10.")}
  sum(ifelse(x<7,-1,ifelse(x>8,1,0)))/length(x)*100
}

NPSconfInt=function(x,confidence=.9,iterations=10000){
  quantile(bootstrap(x,iterations,NPS)$thetastar,c((1-confidence)/2, 1-(1-confidence)/2))
}


npsData=c(1,5,6,8,9,7,0,10,7,8,
          6,5,7,8,2,8,10,9,8,7,0,10)    # Supply NPS data
hist(npsData,breaks=11)                 # Histogram of NPS responses

NPS(npsData)            # Calculate NPS (evaluates to -14)
NPSconfInt(npsData,.7)  # 70% confidence interval (evaluates to approx. -32 to 5)

— k-zar
nguồn

Bạn có thể mở rộng câu trả lời của mình bằng cách giải thích ngay từ đầu cách tiếp cận là gì - đủ chi tiết rằng ai đó không hiểu mã R của bạn vẫn có thể làm theo những gì bạn đang cố gắng nói - và hy vọng đủ để họ có thể nói có một nỗ lực để thực hiện nó trong ngôn ngữ yêu thích của họ?

— Glen_b -Reinstate Monica