Có gì sai với phép ngoại suy?

Tôi nhớ ngồi trong các khóa học thống kê như một sinh viên đại học nghe về lý do tại sao ngoại suy là một ý tưởng tồi. Hơn nữa, có nhiều nguồn trực tuyến bình luận về điều này. Cũng có một đề cập về nó ở đây .

Bất cứ ai có thể giúp tôi hiểu tại sao ngoại suy là một ý tưởng tồi? Nếu đúng như vậy, làm thế nào mà các kỹ thuật dự báo không có giá trị thống kê?

Một mô hình hồi quy thường được sử dụng để ngoại suy, tức là dự đoán đáp ứng với đầu vào nằm ngoài phạm vi của các giá trị của biến dự đoán được sử dụng để phù hợp với mô hình. Mối nguy hiểm liên quan đến phép ngoại suy được minh họa trong hình dưới đây.

Mô hình hồi quy là bằng cách xây dựng một mô hình nội suy, và không nên được sử dụng để ngoại suy, trừ khi điều này là hợp lý.

Truyện tranh xkcd này giải thích tất cả.

Sử dụng các điểm dữ liệu mà Cueball (người đàn ông cầm gậy) có, anh ta đã ngoại suy rằng người phụ nữ sẽ có "bốn chục" người chồng vào cuối tháng tới, và sử dụng phép ngoại suy này để đưa ra kết luận mua bánh cưới với số lượng lớn.

Chỉnh sửa 3: Đối với những bạn nói rằng "anh ta không có đủ điểm dữ liệu", đây là một truyện tranh xkcd khác :

Ở đây, việc sử dụng từ "bền vững" theo thời gian được hiển thị trên biểu đồ bán nhật ký và ngoại suy các điểm dữ liệu mà chúng tôi nhận được ước tính không hợp lý về mức độ thường xuyên xảy ra từ "bền vững" trong tương lai.

Chỉnh sửa 2: Dành cho những bạn nói rằng "bạn cũng cần tất cả các điểm dữ liệu trong quá khứ", nhưng một truyện tranh xkcd khác:

Ở đây, chúng tôi có tất cả các điểm dữ liệu trong quá khứ nhưng chúng tôi không dự đoán chính xác độ phân giải của Google Earth. Lưu ý rằng đây là một biểu đồ bán nhật ký quá.

Chỉnh sửa: Đôi khi, ngay cả các tương quan mạnh nhất của (r = 0,9979 trong trường hợp này) cũng hoàn toàn sai.

Nếu bạn ngoại suy mà không có bằng chứng hỗ trợ khác, bạn cũng vi phạm tương quan không có nghĩa là nhân quả ; một tội lỗi lớn trong thế giới thống kê.

Nếu bạn suy X với Y, tuy nhiên, bạn phải chắc chắn rằng bạn có thể một cách chính xác (đủ để đáp ứng yêu cầu của bạn) dự đoán X với chỉ Y. Hầu như luôn luôn, có nhiều yếu tố hơn tác động X.

_{Tôi muốn chia sẻ một liên kết đến một câu trả lời khác giải thích nó theo lời của Nassim Nicholas Taleb.}

"Dự đoán là rất khó, đặc biệt là nếu đó là về tương lai". Các trích dẫn được quy cho nhiều người trong một số hình thức . Tôi giới hạn trong "ngoại suy" sau đây thành "dự đoán ngoài phạm vi đã biết" và trong cài đặt một chiều, ngoại suy từ một quá khứ đã biết đến một tương lai không xác định.

Vì vậy, những gì là sai với ngoại suy. Thứ nhất, không dễ để mô hình hóa quá khứ . Thứ hai, thật khó để biết liệu một mô hình từ quá khứ có thể được sử dụng cho tương lai hay không . Đằng sau cả hai khẳng định đều có những câu hỏi sâu sắc về tính nhân quả hay tính linh hoạt, tính đầy đủ của các biến giải thích, v.v ... hoàn toàn phụ thuộc vào từng trường hợp. Điều sai lầm là rất khó để chọn một sơ đồ ngoại suy duy nhất hoạt động tốt trong các bối cảnh khác nhau, mà không có nhiều thông tin bổ sung.

$x$

Tuy nhiên, dự báo có thể được điều chỉnh để mở rộng. Thêm vào các câu trả lời khác, một vài thành phần có thể giúp ngoại suy thực tế:

1. $n$$p$$f_p(n)$$p\ge n$
2. Bạn có thể sử dụng một số mô hình ngoại suy và kết hợp chúng hoặc chọn mô hình tốt nhất ( Kết hợp dự báo , J. Scott Armstrong, 2001). Gần đây, đã có một số tác phẩm về sự kết hợp tối ưu của chúng (tôi có thể cung cấp tài liệu tham khảo nếu cần).

Gần đây, tôi đã tham gia vào một dự án ngoại suy các giá trị để truyền thông các hệ thống con mô phỏng trong môi trường thời gian thực. Giáo điều trong lĩnh vực này là ngoại suy có thể gây ra sự bất ổn. Chúng tôi thực sự nhận ra rằng việc kết hợp hai thành phần trên là rất hiệu quả, không có sự mất ổn định đáng chú ý (chưa có bằng chứng chính thức và hiện đang được xem xét ). Và phép ngoại suy làm việc với các đa thức đơn giản, với gánh nặng tính toán rất thấp, hầu hết các thao tác được tính toán trước và được lưu trữ trong các bảng tra cứu.

Cuối cùng, như phép ngoại suy gợi ý vẽ vui, sau đây là tác động ngược của hồi quy tuyến tính:

Mặc dù sự phù hợp của một mô hình có thể là " tốt ", ngoại suy vượt quá phạm vi của dữ liệu phải được xử lý một cách hoài nghi. Lý do là trong nhiều trường hợp ngoại suy (không may và không thể tránh khỏi) dựa vào các giả định không thể kiểm chứng về hành vi của dữ liệu ngoài sự hỗ trợ quan sát được của họ.

$x_{out}$

Một cảnh báo bổ sung là nhiều kỹ thuật ước lượng không tham số không cho phép ngoại suy nguyên bản. Vấn đề này đặc biệt đáng chú ý trong trường hợp làm mịn spline khi không có thêm nút thắt để neo spline được trang bị.

Hãy để tôi nhấn mạnh rằng ngoại suy là xa ác. Ví dụ, các phương thức số được sử dụng rộng rãi trong Thống kê (ví dụ quy trình bình phương của Aitken và Phép ngoại suy của Richardson ) về cơ bản là các sơ đồ ngoại suy dựa trên ý tưởng rằng hành vi cơ bản của hàm được phân tích cho dữ liệu được quan sát vẫn ổn định trong hỗ trợ của hàm.

Trái ngược với các câu trả lời khác, tôi nói rằng không có gì sai khi ngoại suy cho đến khi nó không được sử dụng theo cách không suy nghĩ. Đầu tiên, lưu ý rằng phép ngoại suy là :

quá trình ước tính, vượt quá phạm vi quan sát ban đầu, giá trị của một biến trên cơ sở mối quan hệ của nó với biến khác.

... Vì vậy, thuật ngữ này rất rộng và nhiều phương pháp khác nhau, từ ngoại suy tuyến tính đơn giản , đến hồi quy tuyến tính, hồi quy đa thức hoặc thậm chí một số phương pháp dự báo chuỗi thời gian tiên tiến phù hợp với định nghĩa đó. Trong thực tế, ngoại suy, dự đoán và dự báo có liên quan chặt chẽ. Trong thống kê, chúng tôi thường đưa ra dự đoán và dự báo . Đây cũng là những gì liên kết bạn đề cập đến nói:

Chúng tôi được dạy từ ngày 1 của thống kê rằng ngoại suy là một điều không nên, nhưng đó chính xác là những gì dự báo.

Nhiều phương pháp ngoại suy được sử dụng để đưa ra dự đoán, hơn nữa, thường một số phương pháp đơn giản hoạt động khá tốt với các mẫu nhỏ, do đó có thể được ưa thích sau đó là các phương pháp phức tạp. Vấn đề là, như được chú ý trong các câu trả lời khác, khi bạn sử dụng phương pháp ngoại suy không đúng cách.

Ví dụ, nhiều nghiên cứu cho thấy tuổi bắt đầu tình dục giảm dần theo thời gian ở các nước phương tây. Hãy xem một âm mưu dưới đây về tuổi giao hợp đầu tiên ở Mỹ. Nếu chúng ta mù quáng sử dụng hồi quy tuyến tính để dự đoán tuổi của lần giao hợp đầu tiên, chúng ta sẽ dự đoán nó sẽ xuống dưới 0 vào một số năm (theo đó là cuộc hôn nhân đầu tiên và lần sinh đầu tiên xảy ra vào một lúc nào đó sau khi chết) ... Tuy nhiên, nếu bạn cần thực hiện Dự báo trước một năm, sau đó tôi đoán rằng hồi quy tuyến tính sẽ dẫn đến các dự đoán ngắn hạn khá chính xác cho xu hướng.

(nguồn guttmacher.org )

Tất cả các mô hình đều sai , ngoại suy cũng sai, vì nó sẽ không cho phép bạn đưa ra dự đoán chính xác. Như các công cụ toán học / thống kê khác, nó sẽ cho phép bạn đưa ra dự đoán gần đúng . Mức độ chính xác của chúng sẽ phụ thuộc vào chất lượng dữ liệu mà bạn có, sử dụng các phương pháp phù hợp với vấn đề của bạn, các giả định bạn đưa ra trong khi xác định mô hình của bạn và nhiều yếu tố khác. Nhưng điều này không có nghĩa là chúng ta không thể sử dụng các phương pháp như vậy. Chúng ta có thể, nhưng chúng ta cần nhớ về những hạn chế của họ và nên đánh giá chất lượng của họ cho một vấn đề nhất định.

Tôi khá thích ví dụ của Nassim Taleb (đó là bản chuyển thể từ một ví dụ trước đó của Bertrand Russell):

Hãy xem xét một con gà tây được cho ăn mỗi ngày. Mỗi lần cho ăn sẽ củng cố niềm tin của loài chim rằng đó là quy luật chung của cuộc sống được cho ăn mỗi ngày bởi các thành viên thân thiện của loài người "tìm kiếm lợi ích tốt nhất của nó", như một chính trị gia nói. Vào chiều thứ Tư trước Lễ Tạ ơn, một điều bất ngờ sẽ xảy ra với gà tây. Nó sẽ phải chịu một sự sửa đổi của niềm tin.

Một số tương tự toán học như sau:

• kiến thức về một vài hệ số Taylor đầu tiên của hàm không phải lúc nào cũng đảm bảo rằng các hệ số thành công sẽ tuân theo mô hình giả định của bạn.

• kiến thức về các điều kiện ban đầu của phương trình vi phân không phải lúc nào cũng đảm bảo kiến ​​thức về hành vi tiệm cận của nó (ví dụ phương trình Lorenz, đôi khi bị bóp méo thành cái gọi là "hiệu ứng cánh bướm")

Đây là một chủ đề MO tốt đẹp về vấn đề này.

Suy ngẫm câu chuyện sau đây, nếu bạn muốn.

Tôi cũng nhớ ngồi trong một khóa học Thống kê, và giáo sư nói với chúng tôi ngoại suy là một ý tưởng tồi. Sau đó, trong lớp học tiếp theo, anh ấy nói với chúng tôi rằng đó lại là một ý tưởng tồi; Trong thực tế, ông nói nó hai lần.

Tôi đã bị ốm trong suốt phần còn lại của học kỳ, nhưng tôi chắc chắn rằng tôi không thể bỏ lỡ nhiều tài liệu, bởi vì vào tuần trước, anh chàng chắc chắn đã không làm gì ngoài việc nói với mọi người nhiều lần rằng ngoại suy là một ý tưởng tồi .

Thật kỳ lạ, tôi đã không đạt điểm rất cao trong kỳ thi.

Câu hỏi không chỉ là thống kê, nó còn mang tính nhận thức luận. Phép ngoại suy là một trong những cách chúng ta tìm hiểu về bản chất, nó là một dạng cảm ứng . Giả sử chúng ta có dữ liệu về độ dẫn điện của vật liệu trong phạm vi nhiệt độ từ 0 đến 20 độ C, chúng ta có thể nói gì về độ dẫn điện ở 40 độ C?

Nó liên quan chặt chẽ đến suy luận mẫu nhỏ: chúng ta có thể nói gì về toàn bộ dân số từ các phép đo được tiến hành trên một mẫu nhỏ? Điều này đã được bắt đầu bởi Gosset với tên Guiness , người đã đưa ra các bản phân phối của Sinh viên. Trước khi các nhà thống kê không bận tâm đến việc nghĩ về các mẫu nhỏ giả định rằng kích thước mẫu luôn có thể lớn. Ông đã ở Guinnes và phải đối phó với các mẫu bia để quyết định phải làm gì với toàn bộ lô bia được vận chuyển.

Vì vậy, trong thực tế (kinh doanh), kỹ thuật và khoa học, chúng ta luôn phải ngoại suy theo một số cách. Nó có thể được ngoại suy các mẫu nhỏ để một lớn, hoặc từ cự ly hạn chế về điều kiện đầu vào cho một nhóm nhiều điều kiện, từ những gì đang xảy ra trong máy gia tốc với những gì đã xảy ra với một tỷ lỗ đen dặm vv Đó là đặc biệt quan trọng trong khoa học mặc dù , khi chúng tôi thực sự học bằng cách nghiên cứu sự khác biệt giữa ước tính ngoại suy và các phép đo thực tế. Thông thường chúng ta tìm thấy những hiện tượng mới khi sự khác biệt lớn hoặc nhất quán.

do đó, tôi nói không có vấn đề gì với phép ngoại suy. Đó là điều chúng ta phải làm mỗi ngày. Nó thật khó khăn.

Phép ngoại suy tự nó không nhất thiết là xấu, nhưng đó là một quá trình tự đưa ra kết luận không hợp lý hơn là bạn đi đến với phép nội suy.

• Phép ngoại suy thường được thực hiện để khám phá các giá trị khá xa khu vực được lấy mẫu. Nếu tôi lấy mẫu 100 giá trị từ 0-10, và sau đó ngoại suy chỉ một chút, chỉ đến 11, điểm mới của tôi có thể cách xa bất kỳ điểm dữ liệu nào hơn 10 lần so với bất kỳ phép nội suy nào có thể có được. Điều này có nghĩa là có nhiều không gian hơn cho một biến để ra khỏi tầm tay (một cách định tính). Lưu ý rằng tôi cố ý chỉ chọn một phép ngoại suy nhỏ. Nó có thể trở nên tồi tệ hơn
• Phép ngoại suy phải được thực hiện với các đường cong phù hợp để thực hiện phép ngoại suy. Ví dụ, nhiều phép nối đa thức rất kém cho phép ngoại suy vì các thuật ngữ hoạt động tốt trong phạm vi được lấy mẫu có thể phát nổ khi bạn rời khỏi nó. Phép ngoại suy tốt phụ thuộc vào "dự đoán tốt" về những gì xảy ra bên ngoài khu vực được lấy mẫu. Điều này đưa tôi đến ...
• Nó thường cực kỳ khó sử dụng phép ngoại suy do sự có mặt của các pha chuyển tiếp. Nhiều quá trình mà người ta có thể muốn ngoại suy trên có các thuộc tính phi tuyến quyết định không được phơi bày đủ trên khu vực được lấy mẫu. Hàng không xung quanh tốc độ âm thanh là một ví dụ tuyệt vời. Nhiều phép ngoại suy từ tốc độ thấp hơn sẽ rơi ra khi bạn tiếp cận và vượt quá tốc độ truyền thông tin trong không khí. Điều này cũng xảy ra khá thường xuyên với các ngành khoa học mềm, nơi chính chính sách có thể tác động đến sự thành công của chính sách. Kinh tế học Keynes đã ngoại suy cách nền kinh tế sẽ hành xử với các mức lạm phát khác nhau và dự đoán kết quả tốt nhất có thể. Thật không may, đã có hiệu ứng thứ hai và kết quả không phải là sự thịnh vượng kinh tế, mà là một số tỷ lệ lạm phát cao nhất mà Hoa Kỳ đã thấy.
• Mọi người thích ngoại suy. Nói chung, mọi người thực sự muốn ai đó nhìn vào một quả cầu pha lê và nói với họ về tương lai. Họ sẽ chấp nhận ngoại suy xấu đáng ngạc nhiên đơn giản vì đó là tất cả thông tin họ có. Điều này có thể không làm cho phép ngoại suy trở nên xấu, mỗi lần, nhưng nó chắc chắn là điều mà người ta nên tính đến khi sử dụng nó.

Đối với cuối cùng trong ngoại suy, hãy xem xét Dự án Manhattan. Các nhà vật lý ở đó buộc phải làm việc với các bài kiểm tra quy mô cực kỳ nhỏ trước khi xây dựng vật thật. Họ chỉ đơn giản là không có đủ Uranium để lãng phí trong các bài kiểm tra. Họ đã làm tốt nhất có thể, và họ thông minh. Tuy nhiên, khi thử nghiệm cuối cùng xảy ra, người ta đã quyết định rằng mỗi nhà khoa học sẽ quyết định cách xa vụ nổ mà họ muốn xảy ra khi nó nổ ra. Có sự khác biệt đáng kể về quan điểm về việc "an toàn" đến mức nào vì mọi nhà khoa học đều biết rằng họ đang ngoại suy khá xa so với các thử nghiệm của họ. Thậm chí còn có một sự cân nhắc không hề nhỏ rằng họ có thể đốt cháy bầu không khí bằng bom hạt nhân, một vấn đề cũng được đặt ra với phần ngoại suy đáng kể!

Có rất nhiều câu trả lời hay ở đây, tôi chỉ muốn thử và tổng hợp những gì tôi thấy là cốt lõi của vấn đề: thật nguy hiểm khi ngoại suy quá trình tạo dữ liệu đó làm phát sinh mẫu ước tính. Điều này đôi khi được gọi là "thay đổi cấu trúc".

Dự báo đi kèm với các giả định, vấn đề chính là quá trình tạo dữ liệu là (gần như không có sự khác biệt đáng kể) giống như quá trình tạo mẫu (ngoại trừ các biến rhs, những thay đổi mà bạn giải thích rõ ràng trong mô hình) . Nếu thay đổi cấu trúc xảy ra (ví dụ Lễ Tạ ơn trong ví dụ của Taleb), tất cả các cược sẽ bị tắt.