Khảo sát: 25% của một đại diện cơ sở người dùng lớn?

Chủ nhân của tôi hiện đang thực hiện một cuộc khảo sát trên toàn công ty về thái độ đối với văn phòng, ví dụ như Tình cảm. Trước đây, họ đã mở cuộc khảo sát cho tất cả các lĩnh vực kinh doanh (Giả sử 10 phòng ban rất khác nhau) và tất cả nhân viên trong đó (Giả sử tổng cộng 1000 nhân viên trong toàn công ty) Số lượng nhân viên trong mỗi bộ phận không bằng nhau và một bộ phận cụ thể có thể là 50% của tổng số tổ chức.

Năm nay, cuộc khảo sát chỉ được mở tới 25% tổng số nhân viên và lựa chọn là 'ngẫu nhiên'

Do đó, tôi có hai truy vấn:

• Nếu đó là một lựa chọn thực sự ngẫu nhiên của toàn bộ cơ sở nhân viên, thì làm thế nào mà một mẫu có giá trị thống kê giả sử tất cả những nhân viên đó trả lời?

• Nếu nó là ngẫu nhiên trên mỗi cấp bộ phận, ví dụ 25% của mỗi bộ phận, thì mẫu đó hợp lệ như thế nào khi xem xét một bộ phận là hơn 50% tổng dân số.

Tôi đã giả định rằng để xác định một tình cảm đa số trong một công ty, người ta sẽ cần ít nhất 50% cơ sở nhân viên trong mỗi bộ phận để cung cấp một tình cảm đọc thực sự.

Cập nhật : Khảo sát không được thực thi. Không thể đảm bảo tỷ lệ phản hồi 100% từ 25% được chọn. Không có biện pháp khuyến khích hoặc trừng phạt nếu cuộc khảo sát được hoặc không được điền.

Hãy suy nghĩ về các cuộc khảo sát trong dân số nói chung của Hoa Kỳ. Nếu chúng ta cần 50% dân số để xác định ý kiến ​​đa số, chúng ta sẽ cần một mẫu khoảng 160 triệu, đây thực sự là điều cấm. Ngay cả một mẫu 1% là cực kỳ (khoảng 3,2 triệu), và hiếm khi được thực hiện. Một khảo sát quan trọng ở Mỹ, Khảo sát xã hội chung có cỡ mẫu từ 1.500 đến gần 3.000. Vì vậy, một mẫu 25% là không có vấn đề.

Hãy nhớ rằng một cuộc khảo sát không phải là một cuộc bầu cử hay trưng cầu dân ý. Để sau này là hợp pháp, mọi người đủ điều kiện phải có cơ hội để có tiếng nói của họ. Đối với khảo sát, mục đích là để có được ước tính tốt về ý kiến ​​trung bình và bạn có thể lấy điều đó với một mẫu ngẫu nhiên. Vì vậy, công ty cần quyết định mục đích của cuộc khảo sát là gì: đó có phải là cách để nhân viên đưa ra ý kiến ​​và tham gia vào công ty, hay đó là cách để các nhà quản lý có được thông tin?

Cả hai thiết kế lấy mẫu đảm bảo rằng 25% nhân viên được yêu cầu. Cái sau đảm bảo rằng bộ phận nhỏ hơn được đại diện trong cuộc khảo sát. Nếu bạn quan tâm đến các lỗi tiêu chuẩn thì bạn nên tính đến tính chất lồng nhau của việc lấy mẫu, mặc dù tôi không nghi ngờ rằng điều đó sẽ có vấn đề lớn trong trường hợp này.

Theo từ nguyên " khảo sát " ( sur-từ 'siêu', như trong 'từ trên' và -veytừ 'view') có nghĩa là để có được một cái nhìn tổng quan , không phải là bức tranh đầy đủ.

Chừng nào 25% thực sự ngẫu nhiên và không có nghĩa là tự chọn (chọn tham gia) thì nó hoàn toàn đáp ứng định nghĩa của thuật ngữ này. Nếu khảo sát là tùy chọn, thì câu trả lời sẽ chỉ đại diện cho những người cảm thấy cần phải trả lời. Ví dụ, hãy tưởng tượng một nhà hàng trong đó người ta có thể điền vào thẻ phản hồi sau khi dùng bữa. Ngay cả khi hầu hết thực khách hài lòng, hầu hết các phản hồi sẽ là tiêu cực vì khách hàng hài lòng thấy ít lý do để đưa ra phản hồi.

Một quan điểm khác đến từ lý thuyết thiết kế thí nghiệm.

Sức mạnh thống kê là xác suất tìm thấy hiệu ứng nếu nó có thật ( nguồn )

Bốn yếu tố ảnh hưởng đến sức mạnh:

1. Kích thước của hiệu ứng
2. Độ lệch chuẩn của đặc tính
3. Cỡ mẫu lớn hơn
4. Mức ý nghĩa mong muốn

Dựa trên các yếu tố này, bạn có thể viết một phương trình toán học chính thức liên quan đến sức mạnh, cỡ mẫu, kích thước hiệu ứng, độ lệch chuẩn và mức ý nghĩa ( nguồn )

Theo một nhóm các giả định , bạn có thể mô tả khảo sát của mình dưới dạng thử nghiệm và tham gia vào thiết kế khung thử nghiệm ( ở đây có một vài ví dụ). Có một số dự đoán được giáo dục sẽ được thực hiện; tuy nhiên, một mô hình không hoàn hảo có thể tốt hơn so với không có mô hình nào cả.

Tôi cảm thấy hai câu hỏi. Một về kích thước mẫu (25%, tại sao không phải là đa số) và một về kỹ thuật lấy mẫu (có thực sự ngẫu nhiên, lấy mẫu ngẫu nhiên 25% trên toàn bộ công ty, lấy mẫu ngẫu nhiên 25% ở mỗi bộ phận hoặc sử dụng một số phân phối khác).

1) Cỡ mẫu không cần phải chiếm đa số. Cỡ mẫu yêu cầu có thể là bất cứ thứ gì trong khoảng từ 0 đến 100% tùy thuộc vào độ chính xác cần thiết cho tỷ lệ tin cậy hoặc khả năng nhất định.

Không bao giờ chắc chắn 100% (cũng không phải với tập hợp con 50% hoặc lớn hơn). Đạt được độ chính xác cao như vậy cũng không phải là điểm lấy mẫu và ước tính.

Xem thêm về kích thước mẫu: https://en.wikipedia.org/wiki/Sample_size_determination

Nếu bạn có luật số lượng lớn, bạn cũng có thể có một ý tưởng trực quan.

Phân phối trung bình của tất cả các tập hợp con có thể (và mẫu của bạn sẽ là một trong số chúng), sẽ trở nên nhỏ hơn và gần với giá trị trung bình của phân phối ban đầu, nếu kích thước của tập hợp con tăng. Nếu bạn chọn một người thì có một số cơ hội hợp lý mà bạn tìm thấy một ngoại lệ, nhưng để tìm ra một ngoại lệ tương tự theo cùng một hướng hai lần sẽ trở nên ít khả năng hơn. Và như vậy, kích thước của tập hợp con được lấy mẫu càng lớn thì cơ hội của một tập hợp con đặc biệt càng nhỏ.

$n$

Lưu ý quan trọng! Ước tính của bạn sẽ không phụ thuộc vào quy mô dân số mà bạn lấy mẫu, mà phụ thuộc vào sự phân bố dân số đó.

Trong trường hợp của bộ phận kích thước 500 của bạn. Độ lệch trung bình của các tập con ngẫu nhiên (có kích thước 125) sẽ nhỏ hơn 11 lần so với độ lệch ban đầu. Lưu ý rằng sai số trong phép đo (độ lệch trung bình của các tập hợp con được chọn ngẫu nhiên), không phụ thuộc vào kích thước của bộ phận. Nó có thể là 500, 5000 hoặc 50000, trong mọi trường hợp, ước tính sẽ không bị ảnh hưởng miễn là chúng có cùng phân phối (bây giờ một bộ phận nhỏ có thể có một số phân phối lạ, nhưng nó bắt đầu biến mất cho các nhóm lớn hơn).

2) Việc lấy mẫu không cần phải hoàn toàn ngẫu nhiên. Bạn có thể đưa nhân khẩu học vào tài khoản.

Cuối cùng, bạn sẽ đối xử với từng bộ phận riêng biệt trong loại này phân tích và chính xác cho các biến thể trong các phòng ban và làm thế nào bạn đã lấy mẫu trong đó, khác nhau có kích thước, các phòng ban.

Trong sự điều chỉnh này có hai điểm khác biệt quan trọng. Người ta có thể giả sử phân phối giữa các nhóm là một biến ngẫu nhiên hoặc không. Nếu bạn coi nó như một biến ngẫu nhiên thì phân tích trở nên mạnh mẽ hơn (lấy ra một số mức độ tự do trong mô hình) nhưng có thể là một giả định sai nếu các nhóm khác nhau không thể trao đổi thành các thực thể ngẫu nhiên không có hiệu ứng cụ thể (dường như là trường hợp của bạn, như tôi tưởng tượng rằng các phòng ban có chức năng khác nhau và có thể có tình cảm khác nhau rộng rãi không phải là ngẫu nhiên trong mối quan hệ với bộ phận).

Câu hỏi của bạn là về kích thước mẫu cho một dân số hữu hạn. Nhưng điều đầu tiên bạn cần là cỡ mẫu cần thiết trong một quần thể vô hạn, sau đó có thể được sử dụng để tính kích thước mẫu cho một quần thể hữu hạn.

$n=(z^2pq)/d^2$
$n$
$z^2$
$p$
$q=1-p$
$d^2$

$(1.96 \times 0.5 \times 0.5)/0.03^2=1,068$

$m=n / (1+((n-1)/N))$
$m$
$n$
$N$

$N=1,000$$1068 / (1+((1068-1)/1000))=517$

Nếu bạn đã sử dụng 25% dân số, mức độ lỗi xuất hiện là 5,4%. Mức độ lỗi này có thể tốt dựa trên các khảo sát trước đó. Với các khảo sát luôn có sự đánh đổi giữa mức độ lỗi mà bạn sẵn sàng chấp nhận và chi phí thực hiện khảo sát.

$517/0.65=796$

Mọi thứ trở nên phức tạp hơn nếu bạn muốn phân chia dân số theo bộ phận (được gọi là phân tầng). Về cơ bản, bạn cần coi mỗi bộ phận là một quần thể hữu hạn riêng biệt nếu bạn muốn dữ liệu chính xác cho từng bộ phận, điều này có thể không thực tế. Nhưng bạn có thể thực hiện một mẫu ngẫu nhiên phân tầng thay vì một mẫu ngẫu nhiên đơn giản, trong đó 50% mẫu được chọn ngẫu nhiên từ bộ phận với 50% dân số và tỷ lệ phù hợp được lấy mẫu ngẫu nhiên từ các bộ phận khác. Điều đó có nghĩa là kích thước mẫu của bạn sẽ tăng lên một chút vì bạn cần làm tròn tất cả các vị trí thập phân lên (bạn không thể khảo sát 0,1 người). Tuy nhiên, kết quả nên được kiểm tra ở cấp độ dân số (công ty) chứ không phải ở cấp phòng ban vì sẽ không có đủ phản hồi từ mỗi bộ phận để chính xác.

Trong khi nói về một mẫu hợp lệ, khái niệm cơ bản thường là một đại diện. Mẫu có "đại diện" cho dân số đầy đủ không? Để có được mẫu đại diện, người ta cần đảm bảo rằng cỡ mẫu phù hợp (để giảm phương sai của ước tính) và mẫu chứa các thành viên thuộc tập hợp con của quần thể biểu hiện các loại hành vi khác nhau được xem xét.

Đầu tiên, tỷ lệ người dùng được chọn cho khảo sát ít quan trọng hơn so với số lượng người dùng tuyệt đối được chọn. Cỡ mẫu yêu cầu sẽ phụ thuộc vào yêu cầu về độ chính xác hoặc khoảng tin cậy trong câu trả lời được đưa ra. Bạn có thể đọc này bài viết để biết thêm thông tin.

Bạn đề cập rằng công ty bao gồm một số phòng ban. Có khả năng là các phòng ban khác nhau trong câu trả lời của họ cho khảo sát? Nếu họ làm (hoặc có thể bạn không biết chắc chắn), đó là một ý tưởng tốt để "phân tầng" mẫu của bạn trên các phòng ban. Ở dạng đơn giản nhất, điều này có nghĩa là chọn một tỷ lệ bằng nhau của mọi người từ mọi bộ phận. Ví dụ: Quy mô công ty là 1000 và kích thước mẫu được chọn là 100. Sau đó, bạn sẽ chọn 50 từ một bộ phận có kích thước 500, 10 từ một bộ phận có quy mô 100, v.v ... Điều này là để tránh sự đại diện của một bộ phận cụ thể trong bất kỳ mẫu "ngẫu nhiên" cụ thể.

Bạn cũng đề cập rằng không phải ai cũng có thể trả lời khảo sát. Nếu bạn biết rằng khoảng một nửa số người sẽ trả lời, thì để nhận được 100 phản hồi, bạn sẽ phải gửi khảo sát tới 200 người. Bạn sẽ phải xem xét khả năng những phản hồi như vậy có thể bị sai lệch. Những người có câu trả lời cụ thể có thể nhiều hơn hoặc ít hơn, có xu hướng trả lời.

Nếu đó là một lựa chọn thực sự ngẫu nhiên của toàn bộ cơ sở nhân viên , thì làm thế nào mà một mẫu có giá trị thống kê giả sử tất cả những nhân viên đó trả lời?

Nó là một mẫu hợp lệ miễn là nó được rút ra từ dân số mà nó có nghĩa là để mô tả. Đó là, nếu bạn chỉ là ông chủ mẫu, không có gì có thể nói về các nhân viên khác; điều đó sẽ không xảy ra trong bối cảnh mà bạn đã mô tả. Tuy nhiên, điều này có thể xảy ra do không phản hồi (nhiều hơn về điều đó ở đây bên dưới).

Nếu nó là ngẫu nhiên trên mỗi cấp bộ phận, ví dụ 25% của mỗi bộ phận, thì mẫu đó hợp lệ như thế nào khi xem xét một bộ phận là hơn 50% tổng dân số.

Đây không còn là một câu hỏi về tính hợp lệ của mẫu mà là một trong những lỗi lấy mẫu. Rõ ràng, các ước tính chính xác nhất sẽ thu được từ một lần rút ngẫu nhiên phân tầng, tầng bao gồm ít nhất là cấp phòng ban. Trong cài đặt như vậy, bạn sẽ có một mẫu hợp lệ cho từng bộ phận, nhưng ước tính cho các phòng ban nhỏ thường không chính xác hơn so với ước tính cho các phòng ban lớn, nhờ kích thước mẫu tuyệt đối cao hơn cho bộ phận sau. Đối với tổ chức tổng thể, đại diện mẫu cao hơn của các phòng ban lớn hơn chỉ đơn giản phản ánh thực tế của tổ chức và không có cách nào làm giảm tính hợp lệ của mẫu.

Cuộc khảo sát không được thực thi. Không thể đảm bảo tỷ lệ phản hồi 100% từ 25% được chọn. Không có biện pháp khuyến khích hoặc trừng phạt nếu cuộc khảo sát được hoặc không được điền.

Bạn sẽ không thể buộc bất cứ ai cung cấp một câu trả lời hay nhưng thực hiện kế hoạch nhắc nhở phản hồi là tối thiểu. Thêm vào đó, bạn nên giải thích sự liên quan của khảo sát với nhân viên và tác động của họ đối với tổ chức nhờ vào khảo sát: ví dụ: khi nào kết quả được công bố? các hành động tiềm năng được thực hiện bởi tổ chức dựa trên khảo sát là gì? Tại sao mỗi câu trả lời quan trọng?

Sau khi dữ liệu được thu thập, việc không phản hồi là một vấn đề cần được xử lý. Đối phó với nó có nghĩa là trước tiên bạn nên phân tích hành vi không phản hồi để phát hiện bất kỳ mô hình tiềm năng nào: không có ông chủ nào phản hồi? Có một bộ phận nhất định không đáp ứng gì cả? Sau đó, áp dụng các chiến lược cần thiết (hậu straf hóa, xem xét lại, buộc tội, vv).

Tôi đang mở rộng trên @ICannotFix Câu trả lời này với một ví dụ về cách bốn yếu tố liên quan đến vấn đề:

1. Kích thước của hiệu ứng
2. Độ lệch chuẩn của đặc tính
3. Cỡ mẫu lớn hơn
4. Mức ý nghĩa mong muốn

Làm thế nào các yếu tố này ảnh hưởng đến kết quả của bạn sẽ phụ thuộc vào số liệu thống kê bạn đang sử dụng. Ví dụ: nếu bạn muốn đoán trung bình của một số biến, bạn có thể sử dụng Kiểm tra T của Sinh viên .

Giả sử bạn muốn tìm ra chiều cao trung bình của nhân viên với khảo sát này. Bạn thực sự không biết độ lệch chuẩn về chiều cao của tất cả nhân viên tại công ty của bạn (không đo lường tất cả mọi người) nhưng bạn có thể thực hiện một số nghiên cứu và đoán ở 3 inch (đó là độ lệch chuẩn về chiều cao của nam giới ở Mỹ).

Nếu bạn chỉ khảo sát 5 người thì 95% thời gian chiều cao trung bình bạn quan sát được trong khảo sát của bạn sẽ nằm trong 3,72 inch so với chiều cao trung bình thực.

Bây giờ, làm thế nào để các yếu tố của chúng tôi ảnh hưởng đến điều này:

1. Nếu bạn cần biết chính xác chiều cao trung bình (ví dụ kích thước hiệu ứng là rất nhỏ) thì bạn sẽ cần một số lượng lớn mẫu. Ví dụ: để biết chiều cao trung bình thực trong vòng 2,66 inch, bạn sẽ cần khảo sát 100 người.

2. Nếu độ lệch chuẩn lớn thì độ chính xác bạn có thể đạt được sẽ bị giới hạn. Nếu độ lệch chuẩn là 6 inch thay vì 3 inch và bạn vẫn có 5 phản hồi, bạn sẽ chỉ biết trong vòng 7,44 inch thay vì 3,72 inch chiều cao trung bình thực.

3. Bỏ qua điểm này vì nó là trọng tâm của toàn bộ cuộc thảo luận.

4. Nếu bạn thực sự cần chắc chắn rằng bạn có câu trả lời chính xác thì bạn sẽ cần khảo sát nhiều người hơn. Trong ví dụ của chúng tôi, chúng tôi thấy rằng với 5 phản hồi, chúng tôi có thể nhận được trong vòng 3,72 inch 95% thời gian. Nếu chúng tôi muốn chắc chắn câu trả lời của chúng tôi nằm trong phạm vi chính xác 99% thì phạm vi của chúng tôi sẽ là 6,17 inch chứ không phải 3,72 inch.