Những tiêu chí nào phải được đáp ứng để kết luận "hiệu ứng trần" đang xảy ra?

Theo Các SAGE Bách khoa toàn thư Khoa học Phương pháp nghiên cứu xã hội ...

[a] hiệu ứng trần xảy ra khi một biện pháp sở hữu giới hạn trên rõ rệt cho các phản ứng tiềm năng và sự tập trung lớn của người tham gia đạt điểm ở hoặc gần giới hạn này. Suy giảm tỷ lệ là một vấn đề phương pháp luận xảy ra bất cứ khi nào phương sai bị hạn chế theo cách này. Ví dụ, hiệu ứng trần có thể xảy ra với thước đo thái độ trong đó điểm cao cho thấy thái độ thuận lợi và phản ứng cao nhất không thể đánh giá tích cực nhất có thể. Giải pháp tốt nhất cho vấn đề hiệu ứng trần là thử nghiệm thí điểm, cho phép xác định sớm vấn đề . Nếu tìm thấy hiệu ứng trần , [và] thước đo kết quả là hiệu suất của nhiệm vụ, nhiệm vụ có thể trở nên khó khăn hơn để tăng phạm vi phản ứng tiềm năng. ¹ [nhấn mạnh thêm]

Dường như có rất nhiều các lời khuyên và câu hỏi ( và ở đây ) đối phó với việc phân tích dữ liệu mà hiển thị các hiệu ứng trần tương tự như mô tả trong đoạn trích trên.

Câu hỏi của tôi có thể đơn giản hoặc ngây thơ, nhưng làm thế nào để người ta thực sự phát hiện ra rằng hiệu ứng trần có trong dữ liệu? Cụ thể hơn, giả sử một bài kiểm tra tâm lý được tạo ra và bị nghi ngờ dẫn đến hiệu ứng trần (chỉ kiểm tra trực quan) và sau đó bài kiểm tra được sửa đổi để tạo ra một phạm vi giá trị lớn hơn. Làm thế nào có thể chỉ ra rằng thử nghiệm sửa đổi đã loại bỏ hiệu ứng trần khỏi dữ liệu mà nó tạo ra? Có thử nghiệm nào cho thấy có hiệu ứng trần trong tập dữ liệu a nhưng không có hiệu ứng trần trong tập dữ liệu b ?

Cách tiếp cận ngây thơ của tôi sẽ chỉ là kiểm tra độ lệch phân phối và nếu nó không bị lệch, kết luận rằng không có hiệu ứng trần. Đó có phải là quá đơn giản?

Biên tập

Để thêm một ví dụ cụ thể hơn, giả sử tôi phát triển một công cụ đo lường một số đặc điểm tiềm ẩn x tăng theo tuổi tác nhưng cuối cùng giảm dần và bắt đầu suy giảm ở tuổi già. Tôi tạo phiên bản đầu tiên, có phạm vi 1 1, 14, thực hiện một số thử nghiệm và thấy rằng dường như có thể có hiệu ứng trần (rất nhiều phản hồi ở mức gần 14 nhìn vào dữ liệu. Nhưng tại sao? Có phương pháp nghiêm ngặt nào hỗ trợ cho yêu sách đó không?

Sau đó, tôi sửa lại số đo để có phạm vi 12020 và thu thập thêm dữ liệu. Tôi thấy rằng xu hướng phù hợp hơn với mong đợi của tôi, nhưng làm thế nào để tôi biết rằng phạm vi đo lường đủ lớn. Tôi có cần sửa lại lần nữa không? Trực quan, nó có vẻ ổn, nhưng có cách nào để kiểm tra nó để xác nhận sự nghi ngờ của tôi không?

Tôi muốn biết làm thế nào tôi có thể phát hiện hiệu ứng trần này trong dữ liệu thay vì chỉ nhìn vào nó. Các biểu đồ đại diện cho dữ liệu thực tế, không phải là lý thuyết. Mở rộng phạm vi của công cụ tạo ra sự lan truyền dữ liệu tốt hơn, nhưng liệu đã đủ? Làm thế nào tôi có thể kiểm tra điều đó?

¹ Hessling, R., Traxel, N., & Schmidt, T. (2004). Hiệu ứng trần. Trong Michael S. Lewis-Beck, A. Bryman, & Tim Futing Liao (Eds.), Bách khoa toàn thư SAGE về phương pháp nghiên cứu khoa học xã hội . (trang 107). Ngàn Bàu, CA: Sage Publications, Inc. doi: 10,4135 / xà12950589.n102

Trước hết, tôi muốn nói rằng cả hai biểu đồ cung cấp bằng chứng rõ ràng cho tôi rằng có một hiệu ứng trần. Làm thế nào tôi sẽ cố gắng đo lường hiệu ứng đó thay vì chỉ trực quan sẽ quan sát chừng nào một phần không quan trọng của các quan sát nằm gần giới hạn trên của phạm vi của thiết bị. Thông thường, hiệu ứng trần sẽ luôn tồn tại miễn là có một phần không nhỏ trong số những người làm bài kiểm tra đạt được điểm tối đa trong bài kiểm tra.

Tuy nhiên, điều đó nói rằng, công nghệ phân tích kiểm tra đã tiến bộ một chặng đường dài vì chúng ta cần trực tiếp giải thích điểm số trên một công cụ dựa trên điểm chính xác. Bây giờ chúng ta có thể sử dụng Lý thuyết phản hồi vật phẩm để ước tính các tham số vật phẩm của từng vật phẩm và sử dụng các vật phẩm đó để xác định khả năng của chủ thể. Tất nhiên có thể vẫn có hiệu ứng trần trong một bài kiểm tra nếu chúng ta làm bài kiểm tra quá dễ dàng. Tuy nhiên, do sức mạnh của lý thuyết phản hồi vật phẩm, chúng tôi có thể đặt ít nhất một vài vật phẩm có độ khó đủ cao trong thiết bị để chỉ ngăn chặn một phần nhỏ trong dân số chạm trần.

Cảm ơn câu hỏi. Nó rất thú vị!

Tôi đoán một cách thô và sẵn sàng sẽ chỉ là đo lường phương sai khi quy mô tăng lên. Nếu điều này cho thấy giảm thì đây là bằng chứng cho hiệu ứng trần và nếu không thì không có hiệu ứng trần. Bạn có thể tạo sự đồng nhất của âm mưu phương sai. Thử nghiệm của Levene có thể hữu ích để xác định xem phương sai có khác nhau ở các điểm khác nhau trên thang đo hay không.

Vấn đề quan trọng trong việc quyết định liệu một cụm xung quanh điểm cao nhất hoặc thấp nhất là do hiệu ứng trần / sàn là liệu các giá trị của các trường hợp có thực sự "đại diện" cho giá trị hay không. Khi hiệu ứng trần / sàn xảy ra, một số trường hợp, mặc dù giả sử giá trị tối đa hoặc tối thiểu, thực sự cao hơn / thấp hơn giá trị tối đa hoặc tối thiểu (hãy tưởng tượng cả người lớn và trẻ em đều hoàn thành bài kiểm tra toán cực kỳ đơn giản để đo lường khả năng toán học của một người, và cả hai đều đạt 100%). Ở đây, dữ liệu được kiểm duyệt.

Một kịch bản khác cũng có thể xảy ra khi chúng ta sử dụng các thang đo giới hạn như thang đo giống Likert có giới hạn trên và dưới vốn có. Hoàn toàn có khả năng những người đạt điểm cao nhất thực sự đáng giá điểm đó và không có sự khác biệt (ví dụ như ví dụ toán học ở trên) tồn tại trong số tất cả những người đạt điểm cao nhất. Trong trường hợp như vậy, dữ liệu bị cắt ở giới hạn, không bị kiểm duyệt.

Dựa trên lý do trên, tôi nghĩ người ta nên nghĩ ra một quy trình để phù hợp với bất kỳ tập dữ liệu đã cho nào với việc cắt dữ liệu và kiểm duyệt dữ liệu. Nếu mô hình kiểm duyệt phù hợp nhất với dữ liệu, tôi nghĩ người ta có thể kết luận rằng có hiệu ứng trần / sàn.