Xác nhận chéo có thể được sử dụng cho suy luận nguyên nhân?

Trong tất cả các bối cảnh tôi quen thuộc với xác nhận chéo, nó chỉ được sử dụng với mục tiêu tăng độ chính xác dự đoán. Logic của xác nhận chéo có thể được mở rộng trong việc ước tính mối quan hệ không thiên vị giữa các biến không?

Mặc dù bài báo này của Richard Berk trình bày việc sử dụng một mẫu giữ để lựa chọn tham số trong mô hình hồi quy "cuối cùng" (và chứng minh tại sao lựa chọn tham số theo từng bước không phải là một ý tưởng hay), tôi vẫn không thấy cách đó đảm bảo chính xác ước tính không thiên vị về hiệu ứng X có trên Y hơn là chọn một mô hình dựa trên logic và kiến ​​thức trước đó về chủ đề này.

Tôi yêu cầu mọi người trích dẫn các ví dụ trong đó người ta đã sử dụng một mẫu thử để hỗ trợ cho suy luận nguyên nhân, hoặc các bài tiểu luận chung có thể giúp tôi hiểu. Tôi cũng không nghi ngờ quan niệm của tôi về xác nhận chéo là ngây thơ, và vì vậy nếu nó được nói như vậy. Có vẻ như việc sử dụng một mẫu giữ ngoài có thể phù hợp với suy luận nguyên nhân, nhưng tôi không biết bất kỳ công việc nào làm điều này hoặc làm thế nào họ sẽ làm điều này.

Trích dẫn cho giấy Berk:

Suy luận thống kê sau khi lựa chọn mô hình của: Richard Berk, Lawrence Brown, Linda Zhao Tạp chí tội phạm định lượng, số. 26, số 2. (ngày 1 tháng 6 năm 2010), trang 217-236.

Phiên bản PDF tại đây

Câu hỏi này về phân tích dữ liệu thăm dò trong các nghiên cứu mẫu nhỏ của chl đã đặt ra câu hỏi này.

Tôi nghĩ thật hữu ích khi xem lại những gì chúng ta biết về xác nhận chéo. Kết quả thống kê xung quanh CV rơi vào hai lớp: hiệu quả và tính nhất quán.

Hiệu quả là những gì chúng ta thường quan tâm khi xây dựng các mô hình dự đoán. Ý tưởng là chúng tôi sử dụng CV để xác định một mô hình với các đảm bảo tiệm cận liên quan đến chức năng mất. Kết quả nổi tiếng nhất ở đây là do Stone 1977 và cho thấy LOO CV tương đương với AIC. Nhưng, Brett cung cấp một ví dụ điển hình nơi bạn có thể tìm thấy một mô hình dự đoán không thông báo cho bạn về cơ chế nhân quả.

Tính nhất quán là điều chúng tôi quan tâm nếu mục tiêu của chúng tôi là tìm ra mô hình "thực sự". Ý tưởng là chúng tôi sử dụng CV để xác định một mô hình có đảm bảo tiệm cận, do không gian mô hình của chúng tôi bao gồm mô hình thực, chúng tôi sẽ khám phá nó với một mẫu đủ lớn. Kết quả nổi tiếng nhất ở đây là do Shao 1993 liên quan đến các mô hình tuyến tính, nhưng như ông nói trong bản tóm tắt của mình, "khám phá gây sốc" của ông trái ngược với kết quả của LOO. Đối với các mô hình tuyến tính, bạn có thể đạt được tính nhất quán khi sử dụng LKO CV miễn là như . Ngoài mdoels tuyến tính, khó có được kết quả thống kê. n → $k/n \rightarrow 1$$n \rightarrow \infty$

Nhưng giả sử bạn có thể đáp ứng các tiêu chí thống nhất và quy trình CV của bạn dẫn đến mô hình thực sự: . Chúng ta đã học được gì về cơ chế nhân quả? Chúng tôi chỉ đơn giản biết rằng có một mối tương quan được xác định rõ giữa và , điều này không nói nhiều về tuyên bố nguyên nhân. Từ quan điểm truyền thống, bạn cần đưa vào thiết kế thử nghiệm với cơ chế kiểm soát / thao tác để đưa ra tuyên bố nguyên nhân. Từ quan điểm của khung của Judea Pearl, bạn có thể đưa các giả định nguyên nhân vào mô hình cấu trúc và sử dụng phép tính dựa trên xác suất của các phản ứng để đưa ra một số yêu cầu, nhưng bạn sẽ cần phải đáp ứng một số tính chất nhất định . Y $Y = \beta X + e$$Y$$X$

Có lẽ bạn có thể nói rằng CV có thể giúp suy luận nguyên nhân bằng cách xác định mô hình thực sự (miễn là bạn có thể đáp ứng các tiêu chí nhất quán!). Nhưng nó chỉ đưa bạn đến nay; CV tự nó không làm bất kỳ công việc nào trong cả khuôn khổ suy luận nguyên nhân.

Nếu bạn quan tâm hơn nữa đến những gì chúng ta có thể nói với xác nhận chéo, tôi sẽ đề xuất Shao 1997 qua bài viết được trích dẫn rộng rãi năm 1993:

• Một lý thuyết tiệm cận cho lựa chọn mô hình tuyến tính (Shao, 1997)

Bạn có thể đọc lướt qua các kết quả chính, nhưng thật thú vị khi đọc các cuộc thảo luận sau đây. Tôi nghĩ rằng những bình luận của Rao & Tibshirani và Stone, đặc biệt sâu sắc. Nhưng lưu ý rằng trong khi họ thảo luận về tính nhất quán, không có tuyên bố nào được đưa ra liên quan đến quan hệ nhân quả.

Đây là một câu hỏi thực sự thú vị và tôi không đưa ra bất kỳ trích dẫn cụ thể nào. Tuy nhiên, nói chung, tôi nói, KHÔNG, về bản thân, việc xác nhận chéo không cung cấp bất kỳ cái nhìn sâu sắc nào về quan hệ nhân quả. Trong trường hợp không có thí nghiệm thiết kế, vấn đề nhân quả luôn không chắc chắn. Như bạn đề xuất, xác nhận chéo có thể và sẽ cải thiện độ chính xác dự đoán. Điều này, một mình, không nói gì về quan hệ nhân quả.

Thiếu một thí nghiệm được thiết kế, suy luận nguyên nhân sẽ đòi hỏi một mô hình bao gồm tất cả các yếu tố dự đoán có liên quan - điều mà chúng ta hiếm khi có thể đảm bảo trong một nghiên cứu quan sát. Hơn nữa, một biến độ trễ đơn giản, ví dụ (hoặc bất cứ điều gì tương quan cao với bất kỳ kết quả nào chúng tôi đang cố gắng dự đoán) sẽ tạo ra một mô hình tốt và một mô hình có thể được xác nhận trong nhiều mẫu. Tuy nhiên, điều đó không có nghĩa là chúng ta có thể suy ra quan hệ nhân quả. Xác nhận chéo đảm bảo tính lặp lại trong dự đoán và không có gì hơn. Nhân quả là một vấn đề của thiết kế và logic.

EDIT: Đây là một ví dụ để minh họa. Tôi có thể xây dựng một mô hình với độ chính xác dự đoán tốt, dự đoán dân số của một thành phố dựa trên số tiền mà thành phố bỏ ra để loại bỏ rác. Tôi có thể sử dụng xác thực chéo để kiểm tra độ chính xác của mô hình đó cũng như các phương pháp khác để cải thiện độ chính xác của dự đoán và có được các tham số ổn định hơn. Bây giờ, trong khi mô hình này hoạt động tốt để dự đoán, logic nhân quả là sai - hướng nhân quả bị đảo ngược. Bất kể mọi người trong Cục Công trình Công cộng có thể tranh luận gì, tăng ngân sách của họ cho việc dọn rác sẽ không phải là một chiến lược tốt để tăng dân số của thành phố (giải thích nguyên nhân).

Các vấn đề về độ chính xác và độ lặp lại của một mô hình tách biệt với khả năng đưa ra những suy luận nguyên nhân về các mối quan hệ mà chúng ta quan sát được. Xác nhận chéo giúp chúng ta với cái trước chứ không phải cái sau. Bây giờ, NẾU chúng tôi đang ước tính mô hình "chính xác" theo cách chỉ định mối quan hệ ngẫu nhiên (ví dụ: cố gắng xác định ngân sách loại bỏ rác của chúng tôi nên dựa trên dân số dự kiến ​​vào năm tới), xác thực chéo có thể giúp chúng tôi có được nhiều hơn niềm tin vào ước tính của chúng tôi về hiệu ứng đó. Tuy nhiên, xác nhận chéo không có gì giúp chúng tôi chọn mô hình "chính xác" liên quan đến mối quan hệ nhân quả. Một lần nữa, ở đây chúng ta cần dựa vào thiết kế của nghiên cứu, chuyên môn, lý thuyết và logic của chúng tôi.

Đối với tôi, dường như câu hỏi của bạn thường đề cập đến hương vị xác nhận khác nhau cho mô hình dự đoán: Xác thực chéo có phần liên quan nhiều hơn đến tính hợp lệ bên trong , hoặc ít nhất là giai đoạn mô hình hóa ban đầu, trong khi vẽ liên kết nhân quả trên dân số rộng hơn có liên quan nhiều hơn đến tính hợp lệ bên ngoài. Bằng cách đó (và như một bản cập nhật theo nhận xét tốt đẹp của @ Brett), ý tôi là chúng ta thường xây dựng một mô hình trên một mẫu làm việc, giả sử một mô hình khái niệm giả định (nghĩa là chúng ta chỉ định mối quan hệ giữa các yếu tố dự đoán và kết quả quan tâm), và chúng tôi cố gắng để có được ước tính đáng tin cậy với tỷ lệ lỗi phân loại tối thiểu hoặc lỗi dự đoán tối thiểu. Hy vọng rằng, mô hình hoạt động tốt hơn, nó sẽ cho phép chúng ta dự đoán kết quả trên dữ liệu không nhìn thấy tốt hơn; Tuy nhiên, CV không cho biết bất cứ điều gì về "tính hợp lệ" hoặc tính thỏa đáng của các liên kết nhân quả được đưa ra giả thuyết. Chúng tôi chắc chắn có thể đạt được kết quả tốt với một mô hình trong đó một số hiệu ứng kiểm duyệt và / hoặc hòa giải bị bỏ qua hoặc đơn giản là không biết trước.

Quan điểm của tôi là dù phương pháp bạn sử dụng để xác nhận mô hình của bạn là gì (và phương pháp nắm giữ chắc chắn không phải là phương pháp tốt nhất, nhưng nó vẫn được sử dụng rộng rãi trong nghiên cứu dịch tễ học để giảm bớt các vấn đề phát sinh từ việc xây dựng mô hình từng bước), bạn làm việc với cùng một mẫu (mà chúng tôi giả sử là đại diện của một dân số lớn hơn). Ngược lại, việc khái quát hóa các kết quả và các liên kết nhân quả đã suy ra theo cách này với các mẫu mới hoặc một quần thể có liên quan hợp lý thường được thực hiện bằng các nghiên cứu sao chép . Điều này đảm bảo rằng chúng tôi có thể kiểm tra một cách an toàn khả năng dự đoán của mô hình của chúng tôi trong "siêu phổ biến" có phạm vi biến thể riêng lẻ lớn hơn và có thể thể hiện các yếu tố tiềm năng khác.

Mô hình của bạn có thể cung cấp các dự đoán hợp lệ cho mẫu làm việc của bạn và nó bao gồm tất cả các yếu tố gây nhiễu tiềm năng mà bạn có thể nghĩ đến; tuy nhiên, có thể nó sẽ không hoạt động tốt với dữ liệu mới, chỉ vì các yếu tố khác xuất hiện trong đường dẫn nhân quả can thiệp không được xác định khi xây dựng mô hình ban đầu. Điều này có thể xảy ra nếu một số dự đoán và các liên kết nhân quả được suy ra từ đó phụ thuộc vào trung tâm thử nghiệm cụ thể nơi bệnh nhân được tuyển dụng, ví dụ.

Trong dịch tễ học di truyền, nhiều nghiên cứu kết hợp trên toàn bộ gen không thể sao chép chỉ vì chúng tôi đang cố gắng mô hình hóa các bệnh phức tạp với quan điểm đơn giản về mối quan hệ nhân quả giữa các dấu ấn DNA và kiểu hình quan sát được, trong khi rất có khả năng gen-gen (epistark), bệnh gen (pleiotropy), môi trường gen và cấu trúc dân số đều phát huy tác dụng, nhưng hãy xem ví dụ Xác thực, tăng cường và tinh chỉnh các tín hiệu liên kết trên toàn bộ gen(Ioannidis và cộng sự, Bản chất di truyền học, 2009 10). Vì vậy, chúng ta có thể xây dựng một mô hình biểu diễn để giải thích các biến đổi chéo quan sát được giữa một tập hợp các dấu hiệu di truyền (với kích thước hiệu ứng rất thấp và thưa thớt) và một kiểu hình đa biến của các kiểu hình quan sát (ví dụ: thể tích của chất trắng / xám hoặc các hoạt động cục bộ trong não như được quan sát thông qua fMRI, phản ứng với đánh giá về tâm thần kinh hoặc kiểm kê tính cách), nhưng nó vẫn không thực hiện như mong đợi trên một mẫu độc lập.

Đối với một tài liệu tham khảo chung về chủ đề này, có thể đề xuất chương 17 và Phần III của các mô hình dự đoán lâm sàng , từ EW Steyerberg (Springer, 2009). Tôi cũng thích bài viết sau từ Ioannidis:

Ioannidis, JPA, Tại sao hầu hết các kết quả nghiên cứu được công bố là sai? PLoS Med. 2005 2 (8): e124

Đây là một câu hỏi hay, nhưng câu trả lời chắc chắn là không: xác nhận chéo sẽ không cải thiện suy luận nguyên nhân. Nếu bạn có ánh xạ giữa các triệu chứng và bệnh, xác thực chéo sẽ giúp đảm bảo rằng mô hình của bạn phù hợp với phân phối chung của chúng hơn là nếu bạn chỉ đơn giản phù hợp với mô hình của mình với toàn bộ tập dữ liệu thô, nhưng nó không thể cho bạn biết bất cứ điều gì về tính định hướng của quan hệ nhân quả.

Xác thực chéo là rất quan trọng và đáng để nghiên cứu, nhưng nó không có gì khác hơn là ngăn bạn vượt quá mức nhiễu trong tập dữ liệu của bạn. Nếu bạn muốn hiểu thêm về nó, tôi đề nghị Chương 7 của ESL: http://www-stat.stanford.edu/~hastie/Papers/ESLII.pdf

Để trả lời theo dõi @Andy được đăng dưới dạng câu trả lời tại đây ...

Mặc dù tôi không thể nói ước tính nào là đúng và sai, nhưng không phải là sự không nhất quán trong Kết luận về tội phạm và kết luận về súng giữa hai mô hình nghi ngờ rằng có ảnh hưởng nhân quả thực sự đến độ dài câu không?

Tôi nghĩ điều bạn muốn nói là sự khác biệt trong ước tính tham số cho chúng tôi lý do để tin rằng không ước tính tham số nào đại diện cho hiệu ứng nhân quả thực sự. Tôi đồng ý với điều đó, mặc dù chúng tôi đã có rất nhiều lý do để hoài nghi rằng một mô hình như vậy sẽ mang lại hiệu quả nhân quả thực sự.

Dưới đây là của tôi: Dữ liệu phù hợp quá mức là một nguồn ước tính tham số sai lệch và không có lý do nào để tin rằng sự thiên vị này bù đắp cho các nguồn sai lệch khác trong việc ước tính một hiệu ứng nhân quả cụ thể, sau đó, trung bình phải tốt hơn để ước tính các tác động nhân quả mà không quá phù hợp với dữ liệu. Xác nhận chéo ngăn chặn sự phù hợp quá mức, do đó, trung bình, nó sẽ cải thiện các ước tính về tác động nhân quả.

Nhưng nếu ai đó đang cố thuyết phục tôi tin rằng ước tính của họ về tác động nhân quả từ dữ liệu quan sát, chứng minh rằng họ không phù hợp với dữ liệu của họ là ưu tiên thấp trừ khi tôi có lý do mạnh mẽ để nghi ngờ chiến lược mô hình hóa của họ có khả năng quá vừa vặn.

Trong các ứng dụng khoa học xã hội mà tôi làm việc cùng, tôi quan tâm nhiều hơn đến các vấn đề thực chất, vấn đề đo lường và kiểm tra độ nhạy. Bằng cách kiểm tra độ nhạy, tôi có nghĩa là ước tính các biến thể trên mô hình trong đó các thuật ngữ được thêm hoặc xóa và ước tính các mô hình có tương tác cho phép hiệu ứng lợi ích thay đổi giữa các nhóm phụ. Những thay đổi này đối với mô hình thống kê ảnh hưởng đến ước tính tham số mà chúng ta muốn giải thích theo nguyên nhân bao nhiêu? Là sự khác biệt trong ước tính tham số này trên các thông số kỹ thuật của mô hình hoặc các nhóm phụ có thể hiểu được về câu chuyện nhân quả mà bạn đang cố gắng kể, hoặc chúng có gợi ý về một hiệu ứng được điều khiển bởi, ví dụ như lựa chọn.

Trong thực tế, trước khi bạn chạy các thông số kỹ thuật thay thế. Viết ra cách bạn nghĩ ước tính tham số của bạn sẽ thay đổi. Thật tuyệt nếu ước tính tham số của bạn không thay đổi nhiều giữa các nhóm phụ hoặc thông số kỹ thuật - trong bối cảnh công việc của tôi, điều đó quan trọng hơn xác thực chéo. Nhưng các vấn đề thực chất khác ảnh hưởng đến sự giải thích của tôi vẫn quan trọng hơn.

Tôi cảm ơn tất cả mọi người vì câu trả lời của họ, nhưng câu hỏi đã phát triển thành điều mà tôi không có ý định đó, chủ yếu là một bài tiểu luận về khái niệm chung về suy luận nguyên nhân không có câu trả lời đúng.

Ban đầu tôi dự định câu hỏi để thăm dò khán giả về các ví dụ về việc sử dụng xác nhận chéo cho suy luận nguyên nhân. Tôi đã giả sử các phương pháp như vậy tồn tại, vì khái niệm sử dụng mẫu thử nghiệm và giữ mẫu để đánh giá độ lặp lại của ước tính hiệu ứng có vẻ hợp lý với tôi. Giống như John đã lưu ý, những gì tôi đã đề xuất không giống với bootstrapping và tôi sẽ nói nó giống với các phương pháp khác mà chúng ta sử dụng để xác nhận các kết quả như kiểm tra tính đặc hiệu của tập hợp con hoặc các biến phụ thuộc không tương đương (bootstrapping giúp giảm bớt các giả định tham số của mô hình và tập hợp con các thử nghiệm theo cách tổng quát hơn được sử dụng như một kiểm tra cho thấy kết quả hợp lý trong các tình huống khác nhau). Không có phương pháp nào trong số các phương pháp này đáp ứng bất kỳ tiêu chuẩn nào về câu trả lời chứng minh cho suy luận nguyên nhân, nhưng tôi tin rằng chúng vẫn hữu ích cho suy luận nguyên nhân.

Nhận xét của chl là chính xác ở chỗ khẳng định của tôi về việc sử dụng xác nhận chéo là kiểm tra tính hợp lệ bên trong để hỗ trợ suy luận nguyên nhân. Nhưng tôi yêu cầu chúng ta vứt bỏ sự phân biệt giữa giá trị bên trong và bên ngoài, vì nó không có gì để tranh luận thêm. ví dụ của chl về các nghiên cứu rộng về bộ gen trong dịch tễ học Tôi sẽ xem xét một ví dụ điển hình về tính hiệu lực nội bộ kém, làm cho những suy luận mạnh mẽ vốn đã bị nghi ngờ. Tôi nghĩ rằng các nghiên cứu hiệp hội bộ gen thực sự là một ví dụ về những gì tôi yêu cầu. Bạn có nghĩ rằng các suy luận giữa gen và bệnh được cải thiện thông qua việc sử dụng xác nhận chéo (như được đưa ra để chỉ ném tất cả các dấu vào một mô hình và điều chỉnh giá trị p cho phù hợp?)

Dưới đây tôi đã dán một bản sao của một bảng trong bài viết Berk tôi đã trích dẫn trong câu hỏi của tôi. Trong khi các bảng được thể hiện để chứng minh logic sai của việc sử dụng tiêu chí lựa chọn bước khôn ngoan và nhân quả suy luận trên cùng một mô hình, cho phép giả vờ không có mô hình tiêu chí lựa chọn đã được sử dụng, và các thông số trong cả công tác đào tạo và giữ ra mẫu được xác định A priori. Điều này không đánh tôi là một kết quả không thực tế. Mặc dù tôi không thể nói ước tính nào là đúng và sai, nhưng không phải là sự không nhất quán trong Kết luận về tội phạm và kết luận về súng giữa hai mô hình nghi ngờ rằng có ảnh hưởng nhân quả thực sự đến độ dài câu không? Là biết rằng biến thể không hữu ích? Nếu chúng tôi không mất gì khi có mẫu thử để kiểm tra mô hình của mình, tại sao chúng tôi không thể sử dụng xác thực chéo để cải thiện suy luận nguyên nhân (hoặc tôi đang thiếu những gì chúng tôi đang mất bằng cách sử dụng mẫu giữ ngoài?)

Tôi đoán đây là một cách trực quan để suy nghĩ về mối quan hệ giữa CV và suy luận nguyên nhân: (vui lòng sửa nếu tôi sai)

Tôi luôn nghĩ về CV như một cách để đánh giá hiệu suất của một mô hình trong các dự đoán. Tuy nhiên, trong suy luận nguyên nhân, chúng tôi quan tâm nhiều hơn đến thứ gì đó tương đương với Occam's Razor (Parsimony), do đó CV sẽ không giúp ích gì.

Cảm ơn.