Làm thế nào để điều trị trả lời khảo sát phi logic

Tôi đã gửi một cuộc khảo sát cho một mẫu của các nghệ sĩ. Một trong những câu hỏi là chỉ ra tỷ lệ phần trăm thu nhập có được từ: hoạt động nghệ thuật, hỗ trợ của chính phủ, lương hưu tư nhân, các hoạt động không liên quan đến nghệ thuật. Khoảng 65% cá nhân đã trả lời rằng tổng tỷ lệ là 100. Những người khác thì không: ví dụ, có những người trả lời rằng 70% thu nhập của họ có được từ các hoạt động nghệ thuật của anh ấy / cô ấy và 60% bởi chính phủ thu nhập , và như thế. Câu hỏi của tôi là: tôi nên đối xử với những quan sát này như thế nào? Tôi nên xóa, sửa đổi hoặc giữ chúng? Cảm ơn bạn!

Đây là một tình huống tốt cho một phân tích độ nhạy. Phân tích dữ liệu của bạn theo ba cách -

1. Như họ
2. Sau khi loại trừ "những điều phi logic", tức là những người có tỷ lệ phần trăm không thêm tới 100 (hoặc 100 +/- 10)
3. Sau khi điều chỉnh khi cần thiết để tỷ lệ phần trăm của mỗi người tăng lên đến 100

Sau đó so sánh kết quả, chia sẻ bất kỳ lý do nào bạn có thể phát triển để kết quả có thể chính xác hơn hoặc chính xác hơn ở một số khía cạnh nhất định.

Bạn cũng có thể điều tra phạm vi của các cách thức logic và phi logic khác nhau, nếu có. Do những người phi logic có xu hướng báo cáo thu nhập cao hơn? Để thể hiện sự hỗ trợ lớn hơn cho các ý tưởng hoặc chương trình nhất định? Để bỏ qua nhiều câu hỏi? Để chứng minh sự thiên vị nhiều hơn trong ý nghĩa của đường thẳng hoặc không tương xứng lựa chọn phản ứng trung bình hoặc phản ứng cực đoan?

Với khoảng 400 hoặc những điều phi logic này, bạn có đủ dữ liệu để đánh giá mối quan hệ giữa mức độ phi logic và mức độ của một loại sai lệch nhất định. Một cái gì đó giống như một mối quan hệ liều đáp ứng.

Những gì bạn học được từ các cuộc điều tra này có thể được đưa trở lại vào kế hoạch của bạn để đối phó với những điều phi logic khi nói đến các phân tích quan tâm chính.

Như đã được ám chỉ ở đây , những câu trả lời đó không nhất thiết là phi logic. Ví dụ, bạn nói

Những người khác thì không: ví dụ, có những người trả lời rằng 70% thu nhập của họ có được từ các hoạt động nghệ thuật của anh ấy / cô ấy và 60% bởi chính phủ thu nhập, v.v.

Điều đó có ý nghĩa hoàn hảo nếu 30% thu nhập có được từ các hoạt động nghệ thuật được thực hiện cho chính phủ. Sau đó, chúng tôi thực sự có ba nhóm:

• Hoạt động nghệ thuật, không liên quan đến chính phủ: 40%.
• Chính phủ, không liên quan đến hoạt động nghệ thuật: 30%.
• Hoạt động nghệ thuật được chính phủ trợ cấp: 30%.

Những con số đó lên tới 100%.

Hãy xem xét các câu hỏi sau:

• Là tem thực phẩm chính phủ hoặc các hoạt động không liên quan đến nghệ thuật?
• Là chính phủ an sinh xã hội hay lương hưu?
• Là lương hưu chính phủ (cựu nhân viên chính phủ) là lương hưu tư nhân hay chính phủ?
• Là một khoản trợ cấp của chính phủ để vẽ một hoạt động nghệ thuật vẽ tranh hoặc chính phủ?
• Là một công việc giảng dạy nghệ thuật tại một chính quyền trường học địa phương hoặc hoạt động nghệ thuật hoặc các hoạt động không liên quan đến nghệ thuật?
• Nếu nghỉ hưu từ một công việc trong nghệ thuật (giảng dạy hoặc thương mại, ví dụ như vẽ thẻ quà tặng), thì lương hưu là hoạt động tư nhân hay nghệ thuật? Hoặc trong trường hợp giảng dạy, có thể chính phủ?

Bạn dường như muốn các loại này là loại trừ lẫn nhau. Tuy nhiên, tôi không nghĩ mọi người sẽ diễn giải chúng theo cách đó. Bạn có thể có những suy nghĩ rõ ràng về cách các hoạt động đó nên được phân loại, nhưng không rõ rằng những người được hỏi của bạn có cùng một sự phân chia trong tâm trí khi họ trả lời. Tối thiểu, nếu bạn muốn các con số thêm vào 100%, bạn nên nói với mọi người điều đó.

Cá nhân, tôi nghĩ rằng cách tiếp cận tốt nhất cho loại vấn đề này là thực hiện một loại nhóm tập trung. Trong một khảo sát truyền thống, bạn có thể không xác nhận được câu trả lời. Vì vậy, hãy gọi hoặc ghé thăm những người sẽ được khảo sát nhắm mục tiêu và bắt đầu một cuộc trò chuyện. Sau đó, khi họ đưa ra câu trả lời mà bạn không hiểu, hãy hỏi họ tại sao. Và hơn thế nữa, hãy hỏi họ xem bạn nên hỏi câu hỏi như thế nào để bạn có được kết quả như mong muốn. Điều này hoạt động giống như một nhóm tập trung ở chỗ nó tương tác.

Khi bạn đã thực hiện điều đó, sau đó bạn có thể có ý tưởng tốt hơn về cách xử lý các phản hồi không phù hợp với định dạng của bạn. Ví dụ: bạn có thể lấy thêm 30% và trừ một nửa cho mỗi cái. Sau đó, bạn có 55% hoạt động nghệ thuật và 45% chính phủ. Hoặc bạn có thể phân loại là 40% hoạt động nghệ thuật tư nhân, 30% hoạt động nghệ thuật do chính phủ tài trợ và 30% khác (trong trường hợp này, hỗ trợ của chính phủ không liên quan đến hoạt động nghệ thuật, ví dụ như tem thực phẩm hoặc hỗ trợ thuê). Hoặc loại bỏ khảo sát và làm lại, bởi vì mọi người không hiểu đúng về danh mục của bạn. Một phần của điều này phụ thuộc vào những gì bạn hiểu các loại có nghĩa cũng như cách họ giải thích nó.

Bây giờ đã quá muộn, nhưng đối với các khảo sát trong tương lai, hãy xem xét thực hiện một nhóm tập trung thường xuyên trước khi khảo sát. Sau đó, bạn có thể kiểm tra câu hỏi của mình trong môi trường nhóm và cải thiện chúng. Bạn thậm chí có thể thấy rằng bạn nhận được câu hỏi bổ sung từ nhóm. Nếu quá khó để thực hiện điều này trực tiếp, hãy xem xét thực hiện trực tuyến. Hoặc thực hiện một cuộc khảo sát thử nghiệm (của một số lượng người ít hơn, xác nhận câu trả lời bằng các câu hỏi tiếp theo) qua điện thoại cá nhân trước khi thực hiện khảo sát thực tế. Bất kỳ trong số này có thể giúp bạn làm cho câu hỏi của bạn rõ ràng hơn.

Ví dụ, có lẽ các danh mục thực sự của bạn nên có thu nhập riêng từ hoạt động nghệ thuật; hoạt động nghệ thuật do chính phủ tài trợ; lương hưu tư nhân từ một công việc cũ; thu nhập khác không liên quan đến hoạt động nghệ thuật. Hoặc một cái gì đó khác nhau. Một phần của vấn đề là tôi không thể nói bạn muốn gì, điều đó khiến tôi nghĩ rằng người trả lời của bạn cũng không thể. Nếu có ba cách hiểu khác nhau, thì gần giống như bạn đang trộn các câu trả lời từ ba khảo sát khác nhau.

Tôi không thể cho bạn một câu trả lời cho trường hợp chung của các phản ứng phi logic. Nhưng đối với loại câu hỏi cụ thể này - đã có, đã làm điều đó. Không chỉ trong một cuộc khảo sát, mà còn trong các cuộc phỏng vấn bán cấu trúc, nơi tôi có cơ hội quan sát cách mọi người đưa ra câu trả lời kiểu này. Dựa trên điều này, cũng như một số kinh nghiệm chung trong việc quan sát và phân tích quá trình nhận thức, tôi sẽ đề nghị: bình thường hóa dữ liệu của bạn trở lại tổng số 100% . Lý do là mọi người dường như trước tiên đi đến danh mục nổi bật nhất - trong trường hợp của bạn, đó sẽ là thu nhập lớn nhất - đưa ra ước tính cảm giác ruột cho nó theo phần trăm, sau đó bắt đầu nghĩ đến các danh mục nhỏ hơn tiếp theo và dựa trên ước tính của họ đến mỏ neo của loại đầu tiên, cộng với các loại đã được đề cập thêm.

Ví dụ, một dòng suy nghĩ sẽ diễn ra như sau: "Nguồn thu nhập đầu tiên của tôi chắc chắn là hơn một nửa. Nó tạo ra cái gì, 60%? Không, quá thấp, hãy nói là 65%. Thứ hai là khoảng một phần ba số đó , vì vậy sẽ là hơn 20% một chút, uh, rất khó để tính toán nó trong đầu của tôi, hãy làm tròn tới 25%. Thứ ba cũng cảm thấy như một phần ba của đầu tiên, nhưng thực tế luôn luôn nhiều hơn một chút so với thứ hai, vì vậy nó phải là 30%. Hoặc thậm chí 35? Không, hãy đi với 30. Ồ, và tôi quên rằng tôi có một nguồn thứ tư, điều đó chỉ xảy ra mỗi năm một lần, nó thực sự rất nhỏ so với những người khác, vì vậy 5 hay 10%? Có lẽ 5 gần hơn, nó không thực sự nhiều như vậy ". Và vì vậy, bạn kết thúc với một câu trả lời là 65 + 25 + 30 + 5 = 125%.

Bởi vì mọi người có xu hướng nhận thức rõ hơn về kích thước tương đối của các phần thu nhập với nhau so với từng phần so với tổng số, tôi sẽ nói rằng bình thường hóa chúng là theo thứ tự ở đây, nếu bạn muốn thực hiện một số phân tích số về thu nhập . Tôi sẽ chỉ làm việc với những con số được báo cáo thực tế nếu sự khác biệt giữa niềm tin và tuyên bố của mọi người về thu nhập và thực tế khách quan của họ là một chủ đề quan trọng cho công việc của bạn, ví dụ nếu bạn là một nhà tâm lý học nghiên cứu về thiên kiến ​​nhận thức, hoặc nếu bạn quan tâm hơn đến tự nhận thức của các nghệ sĩ hơn trong hoàn cảnh kinh tế của họ.

Đáng buồn thay, tôi không có một nguồn tài liệu tốt để chứng minh rằng nó thực sự hoạt động như tôi mô tả, đó chỉ là quan sát thực nghiệm cá nhân của tôi. Nhưng tôi không nghĩ rằng những người đánh giá sẽ bị cuốn vào loại quyết định này, vì, như những câu trả lời khác đã nói, không có cách "đúng" duy nhất nào để xử lý nó. Nếu bất cứ điều gì, họ sẽ loại bỏ toàn bộ dữ liệu của bạn khỏi câu hỏi này là không hợp lệ do kỹ thuật truy vấn thiếu sót. Điều tốt nhất bạn có thể làm là thừa nhận sớm và đưa ra lập luận tại sao công việc của bạn vẫn hữu ích và tại sao kết luận bạn đưa ra vẫn tốt mặc dù nguồn dữ liệu không chính xác cụ thể này.

Nếu khoa học xã hội đã dạy tôi bất cứ điều gì, thì đó là nếu bạn cho mọi người cơ hội đưa ra những phản hồi không nhất quán về mặt logic, họ sẽ làm. Vì vậy, hãy yên tâm rằng không có gì bất thường về đối tượng của bạn. Đây là điều cần lưu ý để thiết kế các cuộc khảo sát trong tương lai. Hiện tại, tốt nhất là để nguyên các phản hồi như hiện tại và chỉ cần ghi nhớ trong các phân tích của bạn rằng các phản hồi sẽ không thực sự tăng tới 100%, như mọi người vẫn nghĩ. Thay vì tỷ lệ thực, bạn có những tín hiệu ồn ào về mức thu nhập của mỗi đối tượng từ mỗi danh mục, vì vậy hãy phân tích chúng theo cách đó.

hoạt động nghệ thuật, hỗ trợ của chính phủ, lương hưu tư nhân, các hoạt động không liên quan đến nghệ thuật

Chỉ trong nháy mắt, dường như "hoạt động nghệ thuật" và "hoạt động không liên quan đến nghệ thuật" sẽ tăng thêm 100%.

Tất nhiên "hoạt động không liên quan đến nghệ thuật" không giống như "hoạt động không liên quan đến nghệ thuật", vì có thể có thu nhập liên quan đến không có hoạt động nào cả. Nhưng đó là tóc chẻ mà hầu hết các nghệ sĩ sẽ không nhận thấy.

Nếu bạn cho rằng loại 1 và 4 nên thêm tới 100% và diễn giải lại những người trả lời tương ứng, bạn có thể thấy rằng hầu hết trong số họ đã bao gồm loại 2 và 3 trong loại 4.

Tuy nhiên, tất cả điều này là thao tác dữ liệu không lý tưởng. Nếu bạn muốn câu trả lời thống kê chính xác, bạn phải thu thập dữ liệu chính xác. Mọi người có thể nói dối để trả lời khảo sát của bạn và điều đó khó bảo vệ, nhưng nếu mọi người thật lòng cố gắng trả lời câu hỏi của bạn có thể nhầm lẫn về ý nghĩa của nó, thì khảo sát của bạn cần phải được viết lại.

Lần tới hãy đọc bản khảo sát về sự dễ hiểu , cũng như sự mơ hồ , trước khi bạn gửi nó đi.

Bạn đã đưa ra bốn loại cho thu nhập - còn thu nhập không thuộc loại nào trong số đó? Ví dụ, thu nhập cổ tức từ việc nắm giữ cổ phiếu. Đó không phải là thu nhập từ bất kỳ hình thức hoạt động nào, nhưng nó cũng không phải là hỗ trợ của chính phủ hay trợ cấp. Tôi sẽ đề nghị rằng trong trường hợp không có thông tin khác, bạn nên coi các câu trả lời là chính xác và quy kết số tiền còn thiếu cho các nguồn mà người trả lời không coi là được bao phủ bởi các danh mục.

Thật ra điều đó khá đơn giản (và thậm chí không phi logic như bạn nghĩ)! Tôi cho rằng đó thực sự là tỷ lệ của các loại thu nhập khác nhau mà bạn có sau khi yêu cầu tỷ lệ phần trăm. Vì vậy, bạn có thể chỉ cần tái chuẩn hóa đến 100%. Trong ví dụ của bạn: nếu ai đó nói: 70% thu nhập của tôi là từ các hoạt động nghệ thuật và 60% là từ hỗ trợ của chính phủ, thì người này (người có thể không bao giờ được đào tạo về làm việc với tỷ lệ phần trăm) thực sự đang nói: người thânkích thước hoặc tỷ lệ thu nhập của tôi từ các hoạt động nghệ thuật và chính phủ là khoảng 70 đến 60 hoặc 7 đến 6 (có thể không nhận ra rằng tỷ lệ phần trăm được cho là thêm tới 100 ..). Bạn có thể chuyển đổi các tuyên bố này về tỷ lệ thành báo cáo về tỷ lệ phần trăm bằng cách đơn giản hóa lại chúng, như sau: 70/130 * 100 = 53% thu nhập nghệ thuật và 60/130 * 100 = 47% thu nhập hỗ trợ của chính phủ ..

(những gì tôi làm ở đây thực sự lấy 130% là "mới" 100% và tính tỷ lệ ..)

Tái bút điều này hoạt động cho tất cả các trường hợp trong đó tổng của tỷ lệ phần trăm đã nêu không bằng 100

Hi vọng điêu nay co ich!

Phần lớn các câu trả lời đã được đưa ra đã cung cấp một số cái nhìn sâu sắc về các lỗ hổng phương pháp khảo sát rõ ràng, vì vậy tôi sẽ không tập trung vào đó ở đây. Thay vào đó, tôi sẽ cung cấp một vài tùy chọn thực tế về cách xử lý dữ liệu này do nó đã được thu thập và mặc dù câu hỏi còn thiếu sót. Có một vài cách để xử lý việc này. Bạn có thể xem xét đánh dấu các câu trả lời không đáp ứng định nghĩa của bạn về "câu trả lời hợp lệ" bằng cách coi toàn bộ câu hỏi là thiếu và sau đó tuân theo bất kỳ số thực tiễn nào để xử lý mục không phản hồi như những câu hỏi được thảo luận ở đây .

$y_{{old}_{ij}}$ $(j=1,2,3,4)$$y_{{new}_{ij}}$

$$\begin{eqnarray*} y_{new_{ij}} & = & \begin{cases} 0 & ,\,\text{for}\,\sum_{j=1}^{4}y_{old_{ij}}=0\\ \frac{y_{old_{ij}}}{\sum_{j=1}^{4}y_{old_{ij}}} & ,\,\text{for}\,\sum_{j=1}^{4}y_{old_{ij}}>0\\ Missing & ,\,Otherwise \end{cases} \end{eqnarray*}$$ $i$

 A. (i=1) Artistic activity:  10% 
 B. (i=2) Government support: 0% 
 C. (i=3) Private pension: 30% 
 D. (i=1) Activities not related with arts:  40%

Sau đó, bạn sẽ mã hóa lại như sau:

$$\begin{eqnarray*} y_{new_{i1}} & = & \frac{10}{10+0+30+40}=\frac{10}{80}=12.5\%\\ y_{new_{i2}} & = & \frac{0}{10+0+30+40}=\frac{0}{80}=00.0\%\\ y_{new_{i3}} & = & \frac{30}{10+0+30+40}=\frac{30}{80}=37.5\%\\ y_{new_{i4}} & = & \frac{40}{10+0+30+40}=\frac{40}{80}=50.0\% \end{eqnarray*}$$

Lưu ý rằng tất cả các tỷ lệ phần trăm mới bây giờ thêm vào 100%. Dù bạn làm gì, hãy chắc chắn rằng bạn thực hiện bất kỳ biến đổi nào rất rõ ràng khi báo cáo kết quả của bạn và tôi nghĩ @ rolando2 đã cung cấp một số lời khuyên tuyệt vời về cách thực hiện một số phân tích độ nhạy để xem các biến đổi như thế này có thể ảnh hưởng đến kết luận của bạn như thế nào.