Có phải tất cả các điều khoản tương tác cần các thuật ngữ cá nhân của họ trong mô hình hồi quy?

Tôi thực sự đang xem xét một bản thảo trong đó các tác giả so sánh các mô hình hồi quy logit 5-6 với AIC. Tuy nhiên, một số mô hình có các điều khoản tương tác mà không bao gồm các điều khoản đồng biến riêng lẻ. Có bao giờ nó có ý nghĩa để làm điều này?

Ví dụ: (không cụ thể cho các mô hình logit):

M1: Y = X1 + X2 + X1*X2
M2: Y = X1 + X2
M3: Y = X1 + X1*X2 (missing X2)
M4: Y = X2 + X1*X2 (missing X1)
M5: Y = X1*X2 (missing X1 & X2)

Tôi luôn có ấn tượng rằng nếu bạn có thuật ngữ tương tác X1 * X2, bạn cũng cần X1 + X2. Do đó, các mô hình 1 và 2 sẽ ổn nhưng các mô hình 3-5 sẽ có vấn đề (ngay cả khi AIC thấp hơn). Điều này có đúng không? Đó là một quy tắc hoặc nhiều hơn một hướng dẫn? Có ai có một tài liệu tham khảo tốt giải thích lý do đằng sau này? Tôi chỉ muốn đảm bảo rằng tôi không truyền thông bất cứ điều gì quan trọng trong đánh giá.

Cảm ơn vì những suy nghĩ, Dan

Hầu hết thời gian đây là một ý tưởng tồi - lý do chính là nó không còn làm cho mô hình bất biến đối với sự thay đổi vị trí. Ví dụ: giả sử bạn có một kết quả duy nhất và hai dự đoán và và chỉ định mô hình:$y_i$$x_i$$z_i$

Nếu bạn định tâm các yếu tố dự đoán bằng phương tiện của chúng, sẽ trở thành$x_i z_i$

Vì vậy, bạn có thể thấy rằng các hiệu ứng chính đã được giới thiệu lại vào mô hình.

Tôi đã đưa ra một lập luận heuristic ở đây, nhưng điều này trình bày một vấn đề thực tế. Như đã lưu ý trong Faraway (2005) trên trang 114, sự thay đổi phụ gia trong quy mô thay đổi suy luận của mô hình khi các hiệu ứng chính bị loại bỏ khỏi mô hình, trong khi điều này không xảy ra khi bao gồm các thuật ngữ bậc thấp hơn. Thông thường không mong muốn có những thứ tùy ý như thay đổi vị trí gây ra thay đổi cơ bản trong suy luận thống kê (và do đó là kết luận của yêu cầu của bạn), như có thể xảy ra khi bạn bao gồm các thuật ngữ đa thức hoặc tương tác trong một mô hình mà không có hiệu ứng bậc thấp.

Lưu ý: Có thể có những trường hợp đặc biệt khi bạn chỉ muốn bao gồm sự tương tác, nếu có ý nghĩa thực sự cụ thể hoặc nếu bạn chỉ quan sát sản phẩm chứ không phải các biến riêng lẻ . Nhưng, trong trường hợp đó, người ta cũng có thể nghĩ về yếu tố dự đoán và tiến hành mô hình$x_i z_i$$x_i, z_i$$a_i = x_i z_i$

thay vì nghĩ về như một thuật ngữ tương tác.$a_i$

Tất cả các câu trả lời cho đến nay dường như bỏ lỡ một điểm rất cơ bản: hình thức chức năng bạn chọn phải đủ linh hoạt để nắm bắt các tính năng có liên quan đến khoa học. Mô hình 2-5 áp đặt các hệ số bằng không đối với một số thuật ngữ mà không có bằng chứng khoa học. Và ngay cả khi hợp lý về mặt khoa học, Mô hình 1 vẫn hấp dẫn bởi vì bạn cũng có thể kiểm tra các hệ số bằng 0 thay vì áp đặt chúng.

Điều quan trọng là hiểu những hạn chế có nghĩa là gì. Lời khuyên điển hình để tránh Mô hình 3-5 là bởi vì trong hầu hết các ứng dụng, các giả định mà họ áp đặt là không hợp lý về mặt khoa học. Mô hình 3 giả định X2 chỉ ảnh hưởng đến độ dốc dY / dX1 chứ không ảnh hưởng đến cấp độ. Mô hình 4 giả định X1 chỉ ảnh hưởng đến độ dốc dY / dX2 chứ không ảnh hưởng đến cấp độ. Và Model 5 giả định cả X1 và X2 đều không ảnh hưởng đến cấp độ, mà chỉ dY / dX1 hoặc dY / dX2. Trong hầu hết các ứng dụng, các giả định này có vẻ không hợp lý. Mô hình 2 cũng áp đặt một hệ số bằng 0 nhưng vẫn có một số giá trị. Nó đưa ra xấp xỉ tuyến tính tốt nhất cho dữ liệu, trong nhiều trường hợp thỏa mãn mục tiêu khoa học.

+1 vào @Macro. Hãy để tôi đưa ra những gì tôi nghĩ là một điểm tương tự quan tâm khi bạn có dự đoán phân loại. Rất nhiều có thể phụ thuộc vào cách chúng được mã hóa . Ví dụ: mã hóa ô tham chiếu (còn gọi là 'giả') sử dụng 0 & 1, trong khi mã hóa hiệu ứng sử dụng -1, 0 & 1. Hãy xem xét một trường hợp đơn giản với hai yếu tố với hai cấp độ, sau đó$x_1x_2$có thể là [0, 0, 0, 1] hoặc [1, -1, -1, 1], tùy thuộc vào sơ đồ mã hóa được sử dụng. Tôi tin rằng có thể có một tình huống trong đó chỉ có tương tác là 'đáng kể' với một lược đồ mã hóa, nhưng tất cả các thuật ngữ đều 'đáng kể' khi sử dụng lược đồ khác. Điều này ngụ ý rằng các quyết định diễn giải có ý nghĩa sẽ được đưa ra dựa trên quyết định mã hóa tùy ý mà trên thực tế, phần mềm của bạn có thể đã được đưa ra cho bạn mà bạn không biết. Tôi nhận ra rằng đây là một điểm nhỏ, nhưng đó chỉ là một lý do nữa mà thông thường không nên giữ lại sự tương tác (và cũng không chọn một tập hợp các yếu tố dự đoán dựa trên giá trị p, tất nhiên).

Vì bạn đang xem xét một bài báo, bạn có thể đề nghị các tác giả thảo luận về vấn đề phân cấp mô hình và chứng minh sự ra đi của họ từ đó.

Dưới đây là một số tài liệu tham khảo:

1. Nelder JA. Việc lựa chọn thuật ngữ trong các mô hình bề mặt đáp ứng, mạnh mẽ như thế nào là nguyên tắc di truyền yếu? Nhà thống kê người Mỹ. 1998; 52: 315 Vang8. http://www.jstor.org/pss/2685433 . Truy cập ngày 10 tháng 6 năm 2010.

2. Peixoto JL. Lựa chọn biến phân cấp trong các mô hình hồi quy đa thức. Nhà thống kê người Mỹ. 1987; 41: 311 Từ3. http://www.jstor.org/pss/2684752 . Truy cập ngày 10 tháng 6 năm 2010.

3. Peixoto JL. Một tính chất của mô hình hồi quy đa thức được xây dựng tốt. Nhà thống kê người Mỹ. 1990; 44: 26 trận30. http://www.jstor.org/pss/2684952 . Truy cập ngày 10 tháng 6 năm 2010.

Tôi thường theo thứ bậc nhưng khởi hành từ nó trong một số tình huống. Ví dụ: nếu bạn đang kiểm tra độ mòn của lốp so với quãng đường ở một số tốc độ khác nhau, mô hình của bạn có thể trông như sau:

độ sâu gai = đánh chặn + số dặm + số dặm * tốc độ

nhưng nó sẽ không có ý nghĩa vật lý bao gồm một ảnh hưởng chính của tốc độ vì lốp không biết tốc độ sẽ có mặt tại zero dặm.

(Mặt khác, bạn vẫn có thể muốn kiểm tra hiệu ứng tốc độ vì nó có thể chỉ ra rằng các hiệu ứng "đột nhập" khác nhau ở các tốc độ khác nhau. Mặt khác, cách tốt hơn để xử lý đột nhập sẽ là lấy dữ liệu ở mức 0 và ở mức rất thấp và sau đó kiểm tra tính phi tuyến tính. Lưu ý rằng việc loại bỏ thuật ngữ chặn có thể được coi là trường hợp đặc biệt vi phạm phân cấp.)

Tôi cũng sẽ nhắc lại những gì ai đó đã nói ở trên vì điều đó rất quan trọng: Các tác giả cần đảm bảo rằng họ biết liệu phần mềm của họ có tập trung vào dữ liệu hay không. Mô hình lốp ở trên trở nên vô nghĩa về mặt vật lý nếu phần mềm thay thế số dặm bằng (số dặm - giá trị trung bình của số dặm).

Những điều tương tự cũng có liên quan trong các nghiên cứu về độ ổn định dược phẩm (được đề cập một cách tiếp tuyến trong "Mô hình ổn định để lưu trữ tuần tự", Emil M. Friedman và Sam C. Shum, AAPS PharmSciTech, Tập 12, Số 1, Tháng 3 năm 2011, DOI: 10.1208 / s12249-010-9558-x).

Tôi đã có một trường hợp thực sự minh họa điều này. Trong dữ liệu, một trong các biến được biểu thị groupbằng 0-control và 1-Treatment. Các yếu tố dự đoán khác đại diện time periodvới 0 trước khi điều trị và 1 sau khi điều trị. Sự tương tác là thông số chính của mối quan tâm đo lường hiệu quả của điều trị, sự khác biệt sau khi điều trị trong nhóm điều trị trên bất kỳ ảnh hưởng nào của thời gian được đo trong nhóm đối chứng. Tác dụng chính từgroupđã đo sự khác biệt trong 2 nhóm trước bất kỳ điều trị nào, vì vậy nó có thể dễ dàng là 0 (trong một thí nghiệm ngẫu nhiên nên là 0, nhóm này thì không). Hiệu ứng chính thứ 2 đo lường sự khác biệt giữa các khoảng thời gian trước và sau trong nhóm kiểm soát khi không có điều trị, do đó, điều này cũng có nghĩa là nó có thể bằng 0 trong khi thuật ngữ tương tác là khác không. Tất nhiên điều này phụ thuộc vào cách mọi thứ được mã hóa và một mã hóa khác sẽ thay đổi ý nghĩa và liệu sự tương tác có ý nghĩa hay không mà không có các hiệu ứng chính. Vì vậy, nó chỉ có ý nghĩa để phù hợp với sự tương tác mà không có tác dụng chính trong các trường hợp cụ thể.

Tôi đồng ý với Peter. Tôi nghĩ rằng quy tắc là văn hóa dân gian. Tại sao chúng ta có thể hình dung một tình huống trong đó hai biến sẽ ảnh hưởng đến mô hình chỉ vì một tương tác. Một điểm tương đồng trong hóa học là hai hóa chất hoàn toàn trơ ra nhưng gây ra vụ nổ khi trộn lẫn với nhau. Các đặc tính toán học / thống kê như bất biến không liên quan gì đến một vấn đề thực sự với dữ liệu thực. Tôi chỉ nghĩ rằng khi có rất nhiều biến để xem xét, có rất nhiều thử nghiệm phải làm nếu bạn sẽ xem xét tất cả các hiệu ứng chính và hầu hết nếu không phải là tất cả các tương tác thứ tự đầu tiên. Chúng tôi cũng gần như không bao giờ nhìn vào các tương tác thứ hai ngay cả trong các thí nghiệm nhỏ chỉ với một số biến. Suy nghĩ là thứ tự tương tác càng cao thì càng ít có khả năng có hiệu quả thực sự. Vậy đừng Hãy nhìn vào các tương tác thứ nhất hoặc thứ hai nếu hiệu ứng chính không có. Một quy tắc tốt có lẽ nhưng để tuân theo nó một cách tôn giáo có nghĩa là xem xét các ngoại lệ và vấn đề của bạn có thể là một ngoại lệ.

[cố gắng trả lời một phần của câu hỏi ban đầu dường như chưa được khám phá trong hầu hết các câu trả lời: "AIC, như một tiêu chí lựa chọn mô hình có đáng tin cậy không?"]

AIC nên được sử dụng nhiều hơn như một hướng dẫn, hơn là một quy tắc nên được coi là phúc âm.

Hiệu quả của AIC (hoặc BIC hoặc bất kỳ tiêu chí 'đơn giản' tương tự nào để lựa chọn mô hình) phụ thuộc rất nhiều vào thuật toán học tập và vấn đề.

Hãy nghĩ về nó theo cách này: mục tiêu của thuật ngữ phức tạp (số lượng yếu tố) trong công thức AIC rất đơn giản: để tránh chọn các mô hình phù hợp quá mức. Nhưng sự đơn giản của AIC thường không nắm bắt được sự phức tạp thực sự của chính vấn đề. Đây là lý do tại sao có các kỹ thuật thực tế khác để tránh sự phù hợp quá mức: ví dụ: xác nhận chéo hoặc thêm một thuật ngữ chính quy.

Khi tôi sử dụng SGD trực tuyến (giảm độ dốc ngẫu nhiên) để thực hiện hồi quy tuyến tính trên tập dữ liệu với số lượng đầu vào rất lớn, tôi thấy AIC là một công cụ dự đoán khủng khiếp về chất lượng mô hình vì nó xử phạt quá mức các mô hình phức tạp với số lượng lớn các điều khoản. Có nhiều tình huống thực tế trong cuộc sống mà mỗi thuật ngữ có ảnh hưởng rất nhỏ, nhưng cùng với nhau, một số lượng lớn trong số chúng đưa ra bằng chứng thống kê mạnh mẽ về một kết quả. Các tiêu chí lựa chọn mô hình AIC và BIC sẽ từ chối các mô hình này và thích các mô hình đơn giản hơn, mặc dù các mô hình phức tạp hơn là vượt trội.

Cuối cùng, đó là lỗi tổng quát hóa (đại khái: ngoài hiệu suất mẫu) được tính. AIC có thể cung cấp cho bạn một số gợi ý về chất lượng mô hình trong một số tình huống tương đối đơn giản. Chỉ cần cẩn thận và nhớ rằng cuộc sống thực thường xuyên hơn không, phức tạp hơn một công thức đơn giản.