Hình dạng của khoảng tin cậy và dự đoán cho hồi quy phi tuyến

Các dải tin cậy và dự đoán xung quanh hồi quy phi tuyến tính có phải là đối xứng xung quanh đường hồi quy không? Có nghĩa là chúng không có hình dạng đồng hồ cát như trong trường hợp các dải cho hồi quy tuyến tính. Tại sao vậy?

Đây là mô hình trong câu hỏi:
Đây là hình:

và đây là phương trình:

Các dải tin cậy và dự đoán nên được dự kiến ​​sẽ rộng hơn ở gần cuối - và vì lý do tương tự mà chúng luôn làm như vậy trong hồi quy thông thường; nói chung, độ không đảm bảo của tham số dẫn đến các khoảng rộng hơn gần cuối hơn ở giữa

Bạn có thể thấy điều này bằng cách mô phỏng đủ dễ dàng, bằng cách mô phỏng dữ liệu từ một mô hình nhất định hoặc bằng cách mô phỏng từ phân phối lấy mẫu của vectơ tham số.

Các tính toán thông thường (gần đúng) được thực hiện cho hồi quy phi tuyến liên quan đến việc lấy xấp xỉ tuyến tính cục bộ (điều này được đưa ra trong câu trả lời của Harvey), nhưng ngay cả khi không có những điều chúng ta có thể hiểu được về những gì đang diễn ra.

Tuy nhiên, thực hiện các tính toán thực tế là không cần thiết và có thể các chương trình có thể sử dụng một phím tắt trong tính toán mà bỏ qua hiệu ứng đó. Cũng có thể đối với một số dữ liệu và một số mô hình, hiệu ứng tương đối nhỏ và khó thấy. Thật vậy, với các khoảng dự đoán, đặc biệt là với phương sai lớn nhưng nhiều dữ liệu đôi khi khó có thể nhìn thấy đường cong trong hồi quy tuyến tính thông thường - chúng có thể trông gần như thẳng và tương đối dễ dàng để nhận ra độ lệch khỏi độ thẳng.

Đây là một ví dụ về mức độ khó có thể nhìn thấy chỉ với khoảng tin cậy cho giá trị trung bình (khoảng dự đoán có thể khó nhìn hơn nhiều vì biến thể tương đối của chúng ít hơn rất nhiều). Đây là một số dữ liệu và bình phương nhỏ nhất phù hợp với bình phương, với khoảng tin cậy cho trung bình dân số (trong trường hợp này được tạo từ phân phối lấy mẫu vì tôi biết mô hình thực sự, nhưng có thể thực hiện điều gì đó tương tự bằng cách xấp xỉ tiệm cận hoặc bằng cách khởi động)

Các giới hạn màu tím trông gần như song song với các dự đoán màu xanh ... nhưng chúng không. Đây là lỗi tiêu chuẩn của phân phối mẫu của các dự đoán trung bình đó:

mà rõ ràng là không đổi.

Biên tập:

Những biểu thức "sp" mà bạn vừa đăng xuất phát trực tiếp từ khoảng dự đoán cho tuyến tính hồi quy !

Toán học về độ tin cậy và các dải dự đoán của các đường cong phù hợp với hồi quy phi tuyến được giải thích trong trang Xác thực chéo này. Nó cho thấy rằng các dải không phải luôn luôn / thường là đối xứng.

Và đây là một lời giải thích với nhiều từ hơn và ít toán hơn:

Trước tiên, hãy xác định G | x, là độ dốc của các tham số tại một giá trị cụ thể của X và sử dụng tất cả các giá trị phù hợp nhất của các tham số. Kết quả là một vectơ, với một phần tử cho mỗi tham số. Đối với mỗi tham số, nó được định nghĩa là dY / dP, trong đó Y là giá trị Y của đường cong cho giá trị cụ thể của X và tất cả các giá trị tham số phù hợp nhất và P là một trong các tham số.)

G '| x là vectơ gradient được hoán vị, vì vậy nó là một cột chứ không phải là một hàng các giá trị. Cov là ma trận hiệp phương sai (đảo ngược Hessian từ lần lặp cuối cùng). Nó là một ma trận vuông với số lượng hàng và cột bằng số lượng tham số. Mỗi mục trong ma trận là hiệp phương sai giữa hai tham số. Chúng tôi sử dụng Cov để chỉ ma trận hiệp phương sai chuẩn hóa , trong đó mỗi giá trị nằm trong khoảng -1 đến 1.

Bây giờ tính toán

c = G '| x * Cov * G | x.

Kết quả là một số duy nhất cho bất kỳ giá trị nào của X.

Các dải tin cậy và dự đoán được tập trung vào đường cong phù hợp nhất và mở rộng trên và dưới đường cong một lượng bằng nhau.

Các dải tin cậy mở rộng trên và dưới đường cong bằng cách:

= sqrt (c) * sqrt (SS / DF) * CriticalT (Độ tin cậy%, DF)

Các dải dự đoán mở rộng một khoảng cách xa hơn trên và dưới đường cong, bằng:

= sqrt (c + 1) * sqrt (SS / DF) * CriticalT (Độ tin cậy%, DF)

Trong cả hai phương trình này, giá trị của c (được xác định ở trên) phụ thuộc vào giá trị của X, do đó các dải tin cậy và dự đoán không phải là một khoảng cách không đổi từ đường cong. Giá trị của SS là tổng bình phương cho sự phù hợp và DF là số bậc tự do (số điểm dữ liệu trừ số tham số). CriticalT là một hằng số từ phân phối t dựa trên mức độ tin cậy mà bạn muốn (theo truyền thống là 95%) và số bậc tự do. Đối với giới hạn 95% và df khá lớn, giá trị này gần bằng 1,96. Nếu DF nhỏ, giá trị này cao hơn.