Tìm kiếm một minh họa thực sự về trích dẫn của Fisher về DoE

Nhóm của tôi và tôi muốn thuyết trình cho những người không thống kê của công ty về tiện ích của việc thiết kế các thí nghiệm. Những người không thống kê này cũng là khách hàng của chúng tôi và họ thường không hỏi ý kiến ​​chúng tôi trước khi thu thập dữ liệu của họ. Bạn có biết một số ví dụ thực tế minh họa cho câu nói nổi tiếng của Fisher "Gọi cho nhà thống kê sau khi thí nghiệm được thực hiện có thể không khác gì yêu cầu anh ta thực hiện kiểm tra sau khi chết: anh ta chỉ có thể nói những gì thí nghiệm đã chết của. " ? Tốt nhất là chúng ta đang tìm kiếm một minh họa trong bối cảnh công nghiệp / dược phẩm / sinh học. Chúng tôi nghĩ về một ví dụ về phân tích thống kê không có kết luận có thể thành công nếu nó được thiết kế sơ bộ, nhưng có thể có những minh họa khả thi khác.

Tôi đã chạy vào các thiết kế nơi người thí nghiệm muốn thử nghiệm giữa các hiệu ứng chủ thể nhưng thiết kế phù hợp hơn với các hiệu ứng chủ thể.

Ví dụ, một thí nghiệm bao gồm 8 con chuột, bốn con ở chế độ ăn A và bốn con ở chế độ ăn B và trọng lượng của chuột được đo mỗi ngày trong bốn tuần. Điều này là tốt nếu họ quan tâm đến hiệu quả thời gian của mỗi chế độ ăn kiêng nhưng mục tiêu là điều tra sự khác biệt trong chế độ ăn uống.

Họ nghĩ rằng bằng cách đo mỗi con chuột 28 lần chúng có rất nhiều dữ liệu, nhưng đơn vị thử nghiệm cho hiệu quả của chế độ ăn kiêng là con chuột, chúng chỉ có 4 con cho mỗi lần điều trị. Họ có thể đã đo chuột 10 lần một ngày nhưng điều đó sẽ không có gì khác biệt, cuối cùng họ cần nhiều chuột hơn.

Tôi đã làm một số việc cho một tổ chức gọi là Quỹ quốc gia về nhận thức Celiac. Tổ chức này thúc đẩy nhận thức của cộng đồng về bệnh Celiac và cung cấp danh sách kiểm tra các triệu chứng của bệnh liên quan đến việc không dung nạp thực phẩm có chứa gluten. Họ đã thực hiện một cuộc khảo sát trên internet bằng cách chỉ mở nó cho bất kỳ ai muốn tham gia. Trong những năm qua, họ đã thu thập hàng ngàn phản hồi từ công chúng. Tuy nhiên, họ đã hy vọng đưa ra kết luận về công chúng dựa trên kết quả khảo sát. Tôi đã phải nói với họ rằng những người được hỏi đã tự chọn chứ không phải ngẫu nhiên và điều này có thể tạo ra sự thiên vị. Vì mức độ sai lệch là không xác định, chúng tôi không thể thực hiện bất kỳ cảm hứng suy luận nào về số lượng lớn dữ liệu.

Bây giờ những người được hỏi dường như là một nhóm đặc biệt. Nhiều người rất nghiêm túc và trả lời để bày tỏ lo ngại rằng họ hoặc người thân có thể mắc bệnh. Nhưng cũng có một số lượng người trả lời theo kiểu người khôn ngoan. Điều này là hiển nhiên từ tên giả, địa chỉ email lạ và địa chỉ bưu chính mà họ đã cung cấp với câu trả lời của họ.

Tôi cảm thấy rằng dữ liệu chỉ hữu ích trong ý nghĩa khám phá và tần suất phản hồi có thể hữu ích cho các giả thuyết giả định có thể được kiểm tra trong một cuộc khảo sát trong tương lai được lên kế hoạch tốt. Nhưng cho đến nay, lời khuyên của tôi đã không được chú ý và họ đang thực hiện một cuộc khảo sát tự chọn dễ dàng khác trên internet.

Cách đây một thời gian, tôi được yêu cầu phân tích kết quả của một thí nghiệm về cách vị trí lưu trữ ban đêm của một dải năng lượng mặt trời quang điện ảnh hưởng đến tốc độ tích tụ của đất trên mảng. (Các mảng quang điện tập trung lớn này theo dõi mặt trời cả ngày, nhưng vào ban đêm chúng thường được lưu trữ hướng thẳng lên, vì đây là vị trí căng thẳng tối thiểu cho thiết bị theo dõi.) Làm bẩn là một vấn đề lớn, vì nó làm giảm đáng kể việc sản xuất năng lượng và làm sạch không rẻ Thí nghiệm đã được chạy trên một lĩnh vực khoảng 120 máy theo dõi; nửa phía tây đã được xếp theo chiều dọc và nửa phía đông theo chiều ngang (điều này phù hợp với các kết nối theo dõi với hai bộ biến tần, điều này sẽ mang lại lợi thế trong sản xuất năng lượng trong thí nghiệm nếu có hiệu ứng đáng kể và không có mô hình cụ thể nào khác. nó không thể,

Thật không may, có một kiểu gió thịnh hành mạnh mẽ trên khắp sa mạc từ phía nam-tây nam, và một tòa nhà lớn ở phía nam của phần phía tây của cánh đồng, "che phủ" (phần nào) phần phía tây của cánh đồng từ các hạt gió . Ngoài ra, các bộ theo dõi "che" cho nhau từ gió đến một mức độ nào đó. Do đó, các cơ chế mà đất tích tụ (ví dụ, gió thổi hoặc lắng) khác nhau về cường độ tương đối trên cánh đồng. Điều này ngụ ý rằng các mảng tích lũy đất ở các tỷ lệ khác nhau phụ thuộc vào vị trí; Đây không phải là một hiệu ứng nhỏ.

Về cơ bản, kết quả phân tích về cơ bản là không thể cho rằng vị trí lưu trữ đã tạo ra sự khác biệt, nhưng bằng mọi cách, chúng tôi không thể loại trừ khả năng hiệu ứng là tầm thường, cũng không xác định được với sự tự tin tuyệt vời nào (dựa trên trên dữ liệu) dấu hiệu của hiệu ứng. Sau đó, tôi đã thiết kế một thử nghiệm tiếp theo, chỉ định các vị trí lưu trữ dựa trên vị trí mảng với mục tiêu có thể ước tính "bề mặt phản hồi" trên toàn trường cho cả hai vị trí lưu trữ, ước tính tốc độ "lắng" so với "gió thổi" và Tất nhiên ảnh hưởng của góc lưu trữ trên cả hai. Thí nghiệm này khá thành công và chúng tôi đã có thể có được một bức tranh rõ ràng về lợi ích của việc xếp hàng dọc chỉ sau vài tháng.

Tôi đã được một đồng nghiệp yêu cầu 'thực hiện các số liệu thống kê' trong một nghiên cứu xem xét mối tương quan giữa một loại sự kiện thời tiết nhất định và sự thất bại trong một loại cơ sở hạ tầng thường được quy cho hao mòn đơn giản. Đồng nghiệp muốn xem liệu các sự kiện thời tiết có thực sự góp phần vào sự thất bại hay không. Một nhóm người đã dành rất nhiều thời gian và công sức để thu thập một lượng lớn dữ liệu và bài nghiên cứu đã hoàn thành khá nhiều, họ chỉ cần ai đó 'làm số liệu thống kê' và điền vào phần cuối cùng của phần kết quả.

Vấn đề là, họ đã đảm bảo chắc chắn rằng bộ dữ liệu chỉ chứa các khoảng thời gian 'thú vị' trong đó sự kiện thời tiết trong câu hỏi đã xảy ra. Điều đó có nghĩa là không có cách nào để so sánh tỷ lệ thất bại trong các sự kiện với thời gian không có sự kiện. Tôi đã cố gắng nhiều lần để giải thích vấn đề, nhưng họ không bao giờ thực sự bị thuyết phục, bởi vì đơn giản là có quá nhiều dữ liệu mà chắc chắn tôi có thể lấy được thứ gì đó từ nó.

May mắn thay, vẫn còn một phạm vi nghiêm trọng của các sự kiện thời tiết và có sự tương ứng yếu giữa mức độ nghiêm trọng và tỷ lệ thất bại, vì vậy chúng tôi đã cứu vãn được điều gì đó từ nó, nhưng kết quả có thể rõ ràng hơn nhiều khi họ nghĩ về cách 'làm số liệu thống kê' trước khi bắt tay vào bài tập thu thập dữ liệu.