Sách giáo khoa / bài đọc về những việc cần làm khi bạn không thể tạo ra một thử nghiệm lý tưởng?

Đào tạo thống kê của tôi bắt nguồn từ thống kê toán học, và tham gia các lớp phương pháp này trong MS của tôi là một chút sốc tại thời điểm này; hiện tại rất khó để tôi có thể hiểu một số phương pháp "áp dụng" này vì tôi thiếu kinh nghiệm trong ngành.

Một trong những chủ đề mà chúng ta đã nói đến trong các lớp phương pháp của tôi là ý tưởng thiết kế thử nghiệm.

Chẳng hạn, tôi muốn thực hiện một thí nghiệm về tính hiệu quả trong một chương trình giáo dục tuyên bố sẽ nâng điểm thi của học sinh K-12.

Trong các lớp phương pháp, họ đã dạy những điều sau đây để theo đuổi một vấn đề như vậy: đảm bảo bạn có một câu hỏi nghiên cứu tốt, phương pháp thu thập dữ liệu tốt, thử nghiệm ngẫu nhiên, các nhóm điều trị đồng nhất (có thể là một nhóm được điều trị bằng chương trình này, có lẽ một không) lý tưởng có kích thước bằng nhau, và sau đó chạy thử nghiệm -test (hoặc một số loại thử nghiệm giả thuyết không theo tỷ lệ), và tất cả đều ổn và bảnh bao, phải không?$t$

Tôi có ít niềm tin rằng đây là cách nó hoạt động trong thực tế.

Tôi đã học được rằng, chắc chắn, bạn có thể phải thực hiện một số mẫu thuận tiện. Nhưng ngoài ra, tôi không biết làm thế nào để thực hiện thiết kế thử nghiệm ngoài những gì tôi đã học được từ sách giáo khoa.

Có sách giáo khoa, bài đọc, v.v. khám phá những vấn đề này trong thực tế không (và lý tưởng nhất là không đề cập đến toán học - tôi không cần bằng chứng chi tiết về mọi thứ, nhưng tôi không muốn nói rằng mọi thứ là " rõ ràng, "ví dụ)?

Có hai lĩnh vực mà các thí nghiệm ngẫu nhiên hầu như luôn luôn là không thể: chúng là khoa học xã hội và kinh tế. Trong những trường hợp này, bạn chỉ có thể thực hiện "thí nghiệm gần đúng". Hãy thử tìm kiếm với các từ khóa thí nghiệm gần đúng, nghiên cứu quan sát và khoa học xã hội ; bạn sẽ nhận được một số sách văn bản tốt. Tôi có thể giới thiệu hai cuốn sách tuyệt vời về chủ đề này: cuốn thứ hai của Shadish và Cook là một tác phẩm kinh điển:

1. Phản tác dụng và suy luận nguyên nhân: Phương pháp và nguyên tắc nghiên cứu xã hội của Morgan và Winship
2. Thiết kế thử nghiệm và bán thử nghiệm cho suy luận nguyên nhân tổng quát của William R. Shadish và Thomas D. Cook

Một bài báo cổ điển sử dụng một kỹ thuật gọi là "kết hợp điểm xu hướng" trong môi trường không thử nghiệm để suy luận nguyên nhân của Dehejia và Wahba cũng rất được khuyến khích.

Khuyến nghị bổ sung:

1. Thiết kế nghiên cứu quan sát của Paul R. Rosenbaum.
2. Suy luận nguyên nhân cho khoa học thống kê, xã hội và y sinh: Giới thiệu của Imbens và Rubin.

NẾU bạn đang xem xét các thí nghiệm gần đúng theo chuỗi thời gian, các cuốn sách trên có một số chương dành cho chúng, nhưng một cuốn sách dành riêng là của Gene v. Thiết kế và phân tích các thí nghiệm về chuỗi thời gian và tôi sẽ kiểm tra bài viết của mình về chuỗi thời gian bị gián đoạn .

Thông tin bên lề: Gene V Glass đưa ra thuật ngữ " Phân tích tổng hợp ".

Đây là nơi thiết kế quasiexperimental có thể hữu ích. Trong nhiều tình huống trong thực tế, các thiết kế thử nghiệm không thực tế bởi vì, mặc dù bạn có một điều trị, bạn không thể thực hiện việc gán ngẫu nhiên cho các nhóm hoặc có thể bạn chỉ có một nhóm.

Trong ví dụ về giáo dục của bạn, bạn có thể không kiểm soát được ai sẽ điều trị vì bạn có ý định thực hiện can thiệp cho tất cả trẻ em trong một trường. Tuy nhiên, bạn có thể so sánh điểm số của họ với điểm số của các năm trước hoặc chọn ngẫu nhiên các lớp học để một số lớp nhận được sự can thiệp trước các trường khác hoặc so sánh nhiều trường bao gồm cả những trường không nhận được sự can thiệp.

Có thể có ý nghĩa khi thực hiện thiết kế chuỗi thời gian bị gián đoạn khi bạn chỉ có một nhóm, nhưng thực hiện các phép đo liên tục và quản lý việc điều trị ở giữa thời gian nghiên cứu của bạn. Bằng cách này, bạn có thể thấy độ dốc của biến phụ thuộc theo thời gian có thay đổi ngay sau khi xử lý hay không, liên quan đến độ dốc tổng thể trong toàn bộ nghiên cứu. Số lượng phép đo có thể thấp đến 3, nhưng càng nhiều càng tốt.

Vì vậy, đề nghị của tôi là đọc lên các thiết kế nghiên cứu quasiexperimental.

Cách xử lý nhân quả kỹ lưỡng, tổng quát và chính xác nhất là Judea Pearl 2009, "Nhân quả", tái bản lần 2, Nhà xuất bản Đại học Cambridge.

Đặc biệt, nó làm rõ rằng quan hệ nhân quả không thực sự là một vấn đề thống kê - ngay cả dữ liệu không giới hạn cũng không giải quyết được nó. Nó giới thiệu một ngôn ngữ chính xác để diễn đạt kiến ​​thức định tính và lý thuyết cần thiết cho suy luận nguyên nhân khi một cái gì đó về dữ liệu là tối ưu. Bạn sẽ thấy rằng ngẫu nhiên thất bại chỉ là một vấn đề trong số nhiều người. Nó cũng bao gồm tất cả các khung toán học khác, ví dụ như các khung của Imbens, Rubin và Rosenbaum. Tôi không thể nói quá về cách tiếp cận của anh ấy dễ tiếp cận, thanh lịch và mạnh mẽ.

Tôi thực sự khuyên bạn nên nó. Tuy nhiên, bạn nên đọc nó theo kiểu phi tuyến tính (chương 5 và 11 dễ tiếp cận hơn, và sau đó bạn có thể làm việc ngược lại qua các chương 1, 3 và 7 để hiểu lý thuyết chung).

Khi bạn đã hiểu những điều cơ bản, bạn có thể dễ dàng tìm hiểu những tiến bộ gần đây hơn, ví dụ như khi nào có thể "vận chuyển" những phát hiện nhân quả từ bối cảnh này sang bối cảnh khác, điều này không nhất thiết có thể xảy ra ngay cả với ngẫu nhiên (Pearl, Judea và Elias Bareinboim 2014, "Hiệu lực bên ngoài: Từ tính toán đến khả năng vận chuyển giữa các quần thể." Khoa học thống kê).

Có lẽ đây là những gì bạn đang tìm kiếm ...

Thống kê cho các thí nghiệm

Thiết kế và phân tích thí nghiệm

Thiết kế và phân tích các thí nghiệm với R (không liên quan đến tiêu đề trước)

Cải thiện quy trình bằng Dữ liệu (trực tuyến miễn phí hoặc dưới dạng PDF, chương 5 bao gồm DoE)