Ý nghĩa chính xác của và so sánh giữa điểm ảnh hưởng, điểm đòn bẩy cao và ngoại lệ?

Từ Wikipedia

Các quan sát có ảnh hưởng là những quan sát có ảnh hưởng tương đối lớn đến các dự đoán của mô hình hồi quy.

Từ Wikipedia

Điểm đòn bẩy là những quan sát, nếu có, được thực hiện ở các giá trị cực trị hoặc ngoại lai của các biến độc lập sao cho việc thiếu các quan sát lân cận có nghĩa là mô hình hồi quy được trang bị sẽ vượt qua quan sát cụ thể đó.

Tại sao so sánh sau đây từ Wikipedia

Mặc dù một điểm ảnh hưởng thường sẽ có đòn bẩy cao , điểm đòn bẩy cao không nhất thiết là điểm ảnh hưởng .

Hãy tưởng tượng bất kỳ dòng hồi quy phù hợp với một số dữ liệu.

Bây giờ hãy tưởng tượng một điểm dữ liệu bổ sung, một khoảng cách xa hơn so với phần chính của dữ liệu, nhưng một điểm nằm ở đâu đó dọc theo đường hồi quy đó.

Nếu đường hồi quy được chỉnh lại, các hệ số sẽ không thay đổi. Ngược lại, xóa các ngoại lệ thêm sẽ không ảnh hưởng đến các hệ số.

Vì vậy, một điểm ngoại lệ hoặc điểm đòn bẩy sẽ không có ảnh hưởng nếu nó hoàn toàn phù hợp với phần còn lại của dữ liệu và mô hình mà phần còn lại ngụ ý.

Đối với "dòng" đọc "mặt phẳng" hoặc "siêu phẳng" nếu muốn, nhưng ví dụ đơn giản nhất về hai biến và biểu đồ phân tán là đủ ở đây.

Tuy nhiên, vì bạn thích các định nghĩa - thông thường, dường như, có xu hướng đọc quá nhiều vào chúng - đây là định nghĩa yêu thích của tôi về các ngoại lệ:

"Outliers là các giá trị mẫu gây bất ngờ liên quan đến phần lớn mẫu" (WN Venables và BD Ripley. 2002. Thống kê áp dụng hiện đại với S. New York: Springer, tr.119).

Điều quan trọng, sự ngạc nhiên là trong tâm trí của người hành xử và phụ thuộc vào một số mô hình ngầm hoặc rõ ràng của dữ liệu. Có thể có một mô hình khác theo đó ngoại lệ không đáng ngạc nhiên chút nào, giả sử nếu dữ liệu thực sự là logic hoặc gamma hơn là bình thường.

Tái bút: Tôi không nghĩ rằng các điểm đòn bẩy nhất thiết thiếu các quan sát lân cận. Ví dụ, chúng có thể xảy ra theo cặp.

Thật dễ dàng để minh họa làm thế nào một điểm đòn bẩy cao có thể không ảnh hưởng trong trường hợp của một mô hình tuyến tính đơn giản:

Đường màu xanh là đường hồi quy dựa trên tất cả dữ liệu, đường màu đỏ bỏ qua điểm ở phía trên bên phải của ô.

Điểm này phù hợp với định nghĩa về điểm đòn bẩy cao mà bạn vừa cung cấp vì nó nằm cách xa phần còn lại của dữ liệu. Do đó, đường hồi quy (đường màu xanh) phải vượt qua gần nó. Nhưng vì vị trí của nó phần lớn phù hợp với mẫu được quan sát trong phần còn lại của dữ liệu, nên mô hình kia sẽ dự đoán nó rất tốt (tức là đường màu đỏ đã đi gần với nó trong mọi trường hợp) và do đó nó không có ảnh hưởng đặc biệt.

So sánh điều này với biểu đồ phân tán sau:

Ở đây, điểm bên phải của cốt truyện vẫn là một điểm đòn bẩy cao nhưng lần này nó không thực sự phù hợp với mô hình quan sát được trong phần còn lại của dữ liệu. Đường màu xanh (phù hợp tuyến tính dựa trên tất cả dữ liệu) đi rất gần nhưng đường màu đỏ thì không. Bao gồm hoặc loại trừ một điểm này làm thay đổi đáng kể các ước tính tham số: Nó có rất nhiều ảnh hưởng.

Lưu ý rằng các định nghĩa bạn đã trích dẫn và các ví dụ tôi vừa đưa ra dường như ngụ ý rằng các điểm đòn bẩy / ảnh hưởng cao, theo một cách nào đó, là đơn vị vượt trội so với các dòng và các đường hồi quy được trang bị sẽ vượt qua các điểm có ảnh hưởng cao nhất nhưng nó cần không phải là trường hợp

Trong ví dụ cuối cùng này, việc quan sát ở phía dưới bên phải có ảnh hưởng (tương đối) lớn đến sự phù hợp của mô hình (có thể nhìn thấy lại thông qua sự khác biệt giữa các đường màu đỏ và màu xanh) nhưng nó vẫn xuất hiện cách xa đường hồi quy trong khi không thể phát hiện được trong các bản phân phối đơn biến (được thể hiện ở đây bởi các tấm thảm của Rô-tô dọc theo các trục).