Tùy chọn phản hồi thứ 6 (tôi không biết rõ) đã được thêm vào thang đo Likert 5 điểm. Là dữ liệu bị mất?


16

Tôi cần một chút trợ giúp để cứu vãn dữ liệu từ bảng câu hỏi.

Một trong những đồng nghiệp của tôi đã áp dụng một bảng câu hỏi, nhưng vô tình, thay vì sử dụng thang đo Likert 5 điểm ban đầu (không đồng ý mạnh mẽ để đồng ý mạnh mẽ), anh ta đã đưa câu trả lời thứ 6 vào thang đo. Và, để làm cho vấn đề tồi tệ hơn, tùy chọn phản hồi thứ 6 là ở phạm vi mà tôi không biết.

Vấn đề là tỷ lệ lớn người được hỏi, lúc này hay lúc khác, đã chọn Lọ mà tôi không biết. Nếu chúng là một tỷ lệ khá nhỏ, tôi đã loại chúng ra khỏi cơ sở dữ liệu. Tuy nhiên, cốt lõi của nghiên cứu dựa trên một mô hình khái niệm và loại trừ rất nhiều hồ sơ sẽ tạo ra một vấn đề cho mô hình.

Ai đó có thể chỉ cho tôi đi đúng hướng ở đây? Có 'thực hành tốt' nào không, hoặc tôi có thể làm bất cứ điều gì để sử dụng (chuyển đổi, chuyển đổi, v.v.)

Ngoài ra, nếu tôi thực hiện bất kỳ thao tác nào đối với dữ liệu được đề cập (ví dụ: nếu tôi chuyển đổi thì tôi không biết các phản hồi, bằng cách thay thế, buộc tội, v.v.), loại 'từ chối', 'cảnh báo', chú thích, Có nên dùng?

Tôi biết đó là một cú sút xa, nhưng tôi thú nhận, bên cạnh việc cứu vãn các câu trả lời, tôi cũng tò mò không biết thực tiễn đã thỏa thuận là gì (nếu có), trong những trường hợp như thế này.

Tái bút: Tôi biết nghe có vẻ trẻ con, nhưng không, 'đồng nghiệp' không phải tôi :)


22
Hãy tưởng tượng đồng nghiệp của bạn không bao gồm danh mục tôi không biết. Những người đó đã trả lời những gì? Có lẽ họ đã đánh dấu vào một số loại ngẫu nhiên, có thể họ sẽ để trống. Bây giờ bạn biết rằng các biến của bạn có vấn đề và đưa ra quyết định sáng suốt. Nhìn từ quan điểm này, đồng nghiệp đã giúp bạn một việc.
Maarten Buis

Chà, ngay khi gãi đầu, anh ấy thực sự đã giúp tôi ... Bạn nói đúng về tính ngẫu nhiên của các câu trả lời, và đây có thể là một cách tiếp cận để buộc tội, tuy nhiên, tôi đã tự hỏi liệu có cách nào tốt không thực hành, hoặc ít nhất là một số kinh nghiệm tương tự
hợp lý hóa

4
Tôi thấy các bảng câu hỏi không có tùy chọn " Tôi không biết " đặc biệt gây khó chịu (đặc biệt là khi bạn không thể gửi mà không chọn thứ gì đó). Giả sử bạn đưa ra một câu hỏi như " Các tính năng mới trên tên lửa vũ trụ đó là một sự cải tiến ", và sau đó bạn buộc phải trung lập ở mức tốt nhất, một số người sau đó có thể diễn giải loại khảo sát đó và kết luận "Chúng tôi đã hỏi 1000 mọi người, và 100% không bận tâm ... ", trong khi trên thực tế, tính năng đó có thể là một lỗi hoàn toàn cho những người sử dụng nó. Trong những trường hợp đó, nó gần như cảm thấy sự chứng thực thầm lặng cho thứ gì đó tôi chưa sử dụng.
Bruno

3
Để rõ ràng hơn: nếu mô hình giả định rằng thang điểm 5 có thể đại diện cho ý kiến ​​của người trả lời, thì dữ liệu của bạn chứng minh rằng mô hình không đầy đủ . Nếu đúng thì bạn sẽ có số lượng "Tôi không biết" không đáng kể, bởi vì mọi người sẽ có thể trả lời 1-5. Vì vậy, dữ liệu này "sẽ tạo ra một vấn đề cho mô hình" như quỹ đạo của Sao Thủy tạo ra một vấn đề cho vật lý Newton. Tôi đã nghĩ lối thoát duy nhất của bạn là nếu điểm giữa là "không đồng ý hay không đồng ý" và bạn có thể khiến trường hợp "tôi không biết" là dư thừa với ý nghĩa tương tự như thế này.
Steve Jessop

Xin chào, @SteveJessop, trong lý thuyết / về nguyên tắc, bạn nói đúng về số lượng câu trả lời DK là biểu thị của một vấn đề với bảng câu hỏi (không phải mô hình, hãy nhớ rằng, mô hình không phải là CFA cho thang đo, nhưng hồi quy đối với một loạt các biến, bao gồm cả thang đo), vẫn còn hơi mạnh để gọi nó là không đầy đủ. Tôi sẽ làm các phân tích tỷ lệ và xem, và đó là sự thật, số câu trả lời DK có thể chứng minh có vấn đề. Tuy nhiên, họ cũng có thể có nghĩa là người được hỏi không cảm thấy muốn trả lời (tình cờ, phần lớn câu trả lời của DK đến từ một nhóm sinh viên sau một kỳ thi ...)
sắp xếp hợp lý vào

Câu trả lời:


28

Tại sao cố gắng hiệu chỉnh một cái gì đó không đúng? Như Maarten đã nói, đây không phải là mất dữ liệu mà là thu được thông tin. Nếu viên thuốc ma thuật mà bạn đang tìm kiếm tồn tại, điều đó có nghĩa là có một số giả định về dân số của bạn được tạo ra, ví dụ, sự thiên vị ủng hộ một nhãn cụ thể mặc dù người dùng nói "Tôi không biết".

Tôi hoàn toàn hiểu sự thất vọng của bạn nhưng cách thích hợp để tiếp cận vấn đề là sửa đổi mô hình cho phù hợp với nhu cầu của bạn dựa trên dữ liệu thực sự chứ không phải theo cách khác (sửa đổi dữ liệu).


Xin chào, Hatim, tôi không tin có thể sửa đổi mô hình. Thang đo là thứ tự, và giả sử một sự lựa chọn hợp lý và rõ ràng, trong khi câu trả lời thứ 6, "tôi không biết", có thể được diễn giải theo bất kỳ cách nào. Nó có thể có nghĩa là "tôi chưa bao giờ gặp phải tình huống này / tôi không nhớ lại", nó có thể đại diện cho một sự lựa chọn 'trung gian' nào đó. Bất kỳ giải thích / giả định như vậy thay mặt tôi, sẽ là tự phụ và không có cơ sở. Câu trả lời của Maarten đề cập đến một 'thông tin', thông tin mà tôi cho rằng có thể sử dụng một thuật ngữ 'ngẫu nhiên' cụ thể, nhưng đây không phải là điều bạn nói - "sửa đổi mô hình".
sắp xếp hợp lý

tiếp tục ... Tuy nhiên, mặc dù tôi đã và vẫn đang cố gắng tìm hiểu thêm về cách loại bỏ 'ngẫu nhiên' như vậy, khối lượng lớn các câu trả lời "tôi không biết" khiến tôi lo sợ rằng mối quan hệ thực sự (xác thực) giữa các biến sẽ là thay đổi
hợp lý hóa

8
+1. Tôi biết điều đó thật khó chịu, nhưng bạn [OP] có lựa chọn giữa việc tìm một tập dữ liệu khác nếu bạn muốn kiểm tra mô hình đó hoặc sửa đổi phân tích theo kế hoạch. Bạn đã hỏi câu hỏi với hy vọng có câu trả lời khác nhau nhưng theo quan điểm của tôi thì không có câu trả lời nào. Nếu tôi là người trả lời câu hỏi như vậy, tôi sẽ cảm thấy bị xúc phạm vì sự méo mó và thiếu tin tưởng vào việc cố gắng đối xử với những người không biết của tôi như bất cứ điều gì khác. Trong thực tế là một người tiêu dùng không thường xuyên của nghiên cứu xã hội, tôi cũng không hài lòng.
Nick Cox

1
Bạn tự nhiên đúng rằng điều này đã xảy ra trước đây, và nhiều lần. Đó là lý do tại sao những người có một số kinh nghiệm về các dự án bị chuyển hướng hoặc phức tạp bởi các vấn đề không lường trước có thể nói, vì vậy, phân tích sẽ khác nhau và bài báo sẽ không như tưởng tượng. Hoặc thậm chí, đôi khi các dự án không thành công, vì vậy bạn đi. (Nếu bằng cách nào đó bạn đang được hướng dẫn hoặc bắt buộc phải tuân theo, điều đó thật đáng tiếc, nhưng nó không ảnh hưởng đến lời khuyên của tôi về cách nghĩ về nó.)
Nick Cox

8
@ user2836366 Tôi không hiểu các xác nhận của bạn rằng mô hình có thể được sửa đổi. Chắc chắn "Không biết" không phải là một phần của bộ sưu tập các câu trả lời thông thường, nhưng đó hoàn toàn là vấn đề; "Không biết" ngụ ý rằng vì bất kỳ lý do gì (bao gồm cả thực sự biết), người đó đã không chọn một trong những câu trả lời thông thường. Vì vậy, một sửa đổi như vậy là bạn có thể có một số mô hình cho quy trình đó (chọn "không biết" so với "chọn một trong các tùy chọn khác") và sau đó là mô hình thông thường cho các trường hợp trong danh mục thứ hai. Những mô hình như vậy có thể hơi giống với mô hình rào cản hoặc mô hình không phồng.
Glen_b -Reinstate Monica

10

Nếu đây là một bảng câu hỏi được tiêu chuẩn hóa đã được xác thực độc lập, thì bạn không thể cho rằng bảng câu hỏi mới là tương đương và dữ liệu không còn có thể so sánh được. Bạn có thể thử xác thực và kiểm tra bảng câu hỏi trong các thử nghiệm riêng biệt (rất tốn thời gian và công sức, đặc biệt nếu bạn cũng muốn hiển thị so sánh với phiên bản cũ) hoặc chỉ chấp nhận rằng bạn đang xử lý chất lượng bằng chứng thấp hơn (vì dữ liệu của bạn xuất hiện từ một bảng câu hỏi không xác thực).

Khi bạn sử dụng dữ liệu của mình, bạn sẽ phải cân nhắc thay đổi. Khi đối mặt với một câu hỏi về thái độ, mọi người không đưa ra cho bạn câu trả lời "khách quan" nào đó, họ cho bạn câu trả lời mà họ cảm thấy là đúng - và điều này chắc chắn bị ảnh hưởng bởi cả hai tùy chọn trả lời có sẵn (họ "định mức" câu trả lời của họ theo thang đo) và kiến ​​thức họ có về chủ đề (có những thành kiến ​​đã biết hoạt động khác nhau, đôi khi theo các hướng khác nhau (!) tùy thuộc vào việc người tham gia có nhiều hay ít kiến ​​thức về vấn đề này).

Vì vậy, nếu chúng tôi đang xử lý một quesitonnaire đã được thiết lập, bạn có tùy chọn tốt để so sánh giữa phiên bản câu hỏi của bạn và phiên bản gốc. Nếu ban đầu giả định rằng mọi người biết họ đang chọn gì, và hóa ra họ không biết, bạn có thể thảo luận về mô hình cũ dựa trên các giả định sai và hậu quả của việc đó là gì. Lưu ý rằng đây là một khám phá "phụ", tạo ra một câu hỏi nghiên cứu mới, nhưng đưa bạn ra khỏi bản gốc, và thực sự cho thấy rằng việc trả lời bản gốc khó hơn nhiều so với suy nghĩ, vì vậy nó chắc chắn nhân lên công việc của bạn.

Nếu bạn không xử lý một bảng câu hỏi đã được thiết lập, bạn có thể cuộn theo dòng chảy và giả vờ rằng bảng câu hỏi đặc biệt của bạn đã được lên kế hoạch theo cách đó và đánh giá kết quả tương ứng. Một lần nữa, nó có thể có nghĩa là kết quả mà bạn hy vọng là không thể đạt được với phương pháp này, nhưng đây cũng là một điều quan trọng cần biết.

Để hiểu rõ về cách từ ngữ và các lựa chọn ảnh hưởng đến cách trả lời các câu hỏi, tôi khuyên bạn nên đọc "Tâm lý học của câu trả lời khảo sát" của Tourangeau và cộng sự. Đây là một bài đọc tuyệt vời cho tất cả những ai từng tạo ra một bảng câu hỏi.


2

Nếu bạn hỏi có bao nhiêu đứa trẻ được trả lời đã sinh ra, câu trả lời "không" và "không áp dụng" sẽ không có nghĩa hoàn toàn giống nhau, vì đàn ông không thể sinh con.

Đối với một số bối cảnh, việc đánh đồng "Tôi không biết" với phản ứng trung lập cũng có thể là một sai lầm về khái niệm.

Trên thực tế, bạn có hai câu hỏi: một sự phân đôi "Bạn có ý kiến ​​gì không?" và một thứ tự "Cái gì vậy?", cũng giống như, ở trên, bạn có một ẩn ý "Bạn có phải là phụ nữ không?" ngoài câu hỏi rõ ràng của bạn.

Tất nhiên, bạn có thể đưa ra một số giả định (đôi khi chính xác, đôi khi chỉ để thuận tiện, đôi khi bắt buộc) để cho phép bạn tạo mô hình, nhưng tôi không thể thấy chiến lược nào có thể áp dụng chung mà không đi vào địa hạt cụ thể của hiện tượng của bạn.

Như một điểm cuối cùng được nghĩ đến, sẽ không có ý nghĩa gì khi cố gắng và suy luận về dân số nam bất cứ điều gì từ câu trả lời của phụ nữ.


2

Vấn đề nan giải liệu người ta có nên đưa vào hay không tùy chọn Không biết trả lời vào bảng câu hỏi bao gồm thang đánh giá của loại Likert là vĩnh cửu. Thông thường, khi các mục hỏi về ý kiến, DK được bao gồm bởi vì không có ý kiến ​​là một trạng thái quan trọng của riêng nó và tùy chọn như vậy được mong đợi bởi người trả lời. Trong hàng tồn kho đặc điểm cá nhân nơi mọi người gán các phẩm chất cho tùy chọn DK mục tiêu thường bị loại bỏ vì người trả lời thường được dự kiến ​​có thể đánh giá mức độ ái lực của một đặc tính (tức là người trả lời luôn được nhìn thấy đủ điều kiện); và khi anh ta thỉnh thoảng thấy khó khăn, anh ta được phép (theo chỉ dẫn) bỏ qua mục đó. Trong hàng tồn kho đặc điểm cá nhân nơi mọi người mô tả mục tiêu (vật phẩm hành vi) DK (hoặc don '

@Hatim trong câu trả lời của mình, @Maarten và một số nhà bình luận khác của câu hỏi OP đã đưa ra một cách hợp lý rằng một lượng lớn các câu trả lời DK được quan sát trong nghiên cứu hiện tại chỉ ra các vấn đề (tính hợp lệ của nội dung hoặc tính hợp lệ của khuôn mặt) trong các mục hoặc rằng các đối tượng không ' t phù hợp với các câu hỏi đặt hàng cho họ.

Nhưng bạn không bao giờ có thể kể câu chuyện, cuối cùng việc giải thích về trở ngại là ở bạn (trừ khi bạn giải quyết nó trong một cuộc điều tra riêng). Chẳng hạn, người ta có thể tuyên bố rằng việc đưa tùy chọn DK vào các câu hỏi trong bảng câu hỏi đó (giả sử, đó là một kho lưu trữ mô tả đặc điểm) phục vụ không tốt, không tốt. Nó không cung cấp cho bạn thông tin (trong đó các nhà bình luận nói rằng it proves that the [rating] model is inadequate) nhưng khá mất tập trung / quyến rũ một người trả lời. Có thể nó không được cung cấp quyết định xếp hạng được hướng dẫn bởi lược đồ đặc điểm nhận thức ngầm có thể đã được gợi ra; nhưng nhìn thấy tùy chọn làm mát sẽ loại trừ lược đồ và khiến người ta vội vàng rút.

Nếu bạn thừa nhận thêm - về rủi ro của bạn, nhưng tại sao không? - rằng một đối tượng dễ bị phân tâm hoặc lười biếng là đối tượng có tiềm năng, tầm nhìn bị giữ lại là hợp lệ nhưng có xu hướng bị phân biệt yếu - nghĩa là anh ta sẽ dễ dàng gọi ra das Man thông thường , thay cho Erlebni cá nhân , lược đồ - sau đó bạn có thể suy đoán rằng phản ứng còn thiếu của anh ta xoay quanh ý nghĩa của mẫu hoặc dân số đối với mặt hàng đó. Nếu vậy, tại sao không thay thế trung bình (+ tiếng ồn) của các phản ứng bị thiếu? Hoặc bạn có thể thực hiện cắt bỏ EM hoặc hồi quy (+ nhiễu) để tính đến các mối tương quan.

Nhắc lại: quyết định buộc tội là có thể nhưng rủi ro, và không có khả năng, với số lượng lớn dữ liệu bị thiếu, để khôi phục "thực sự" dữ liệu vắng mặt. Như @rumtscho đã nói, chắc chắn rằng bảng câu hỏi mới với DK không tương đương với câu hỏi ban đầu không có DK và dữ liệu không còn có thể so sánh được.

Đây là những suy đoán. Nhưng trước hết, bạn nên cố gắng điều tra các mô hình mất tích quan sát được. Những đối tượng đã chọn DK là ai? Họ có nhóm lại với nhau trong các kiểu con? Làm thế nào chúng khác nhau trên phần còn lại của các mục từ mẫu phụ "được"? Một số phần mềm có gói Phân tích giá trị thiếu. Sau đó, bạn có thể quyết định bỏ người hoàn toàn hay một phần, hoặc để buộc tội hoặc phân tích họ như một mẫu phụ riêng biệt.

PS Cũng lưu ý rằng người trả lời là "ngu ngốc". Họ thường chỉ trộn lẫn với các lớp quy mô. Ví dụ, nếu điểm DK được đặt gần một cực của thang đo, nó thường sẽ bị nhầm lẫn bởi sự không tập trung với cực đó. Tôi không nói đùa.


Xin chào, @ttnphns, Chà, câu trả lời của bạn quá dài để đưa ra từng điểm một (Tôi đã nhận xét về các câu trả lời khác về một số điểm bạn đã nêu ra ở đây). Thành thật mà nói, tôi sẽ phải đọc lại một vài lần. Tuy nhiên, nó giải quyết mọi thứ tôi muốn.
sắp xếp hợp lý

0

Bây giờ bạn có người trả lời tự chọn để có ý kiến ​​về vấn đề này. Bất cứ điều gì bạn kết luận sẽ chỉ là về những người đó. Điều này có thể ổn, vì việc bỏ phiếu những người "không biết" theo định nghĩa ít hữu ích hơn.


2
Lừa đảo, nhưng quá bi quan. Những người đó đưa ra những lập luận về những gì người ta có thể, không thể, không nên làm, và đó là những lý lẽ nên được cân nhắc. Câu trả lời tương tự có thể được đưa ra trên bất kỳ chủ đề nào ở đây, nhưng những người không lên tiếng thì không có tiếng nói.
Nick Cox
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.