Mô hình linh hoạt và không linh hoạt trong học máy

Tôi đã bắt gặp một câu hỏi đơn giản về việc so sánh các mô hình linh hoạt (ví dụ như spline) so với các mô hình không linh hoạt (ví dụ hồi quy tuyến tính) trong các tình huống khác nhau. Câu hỏi là:

Nói chung, chúng tôi hy vọng hiệu suất của một phương pháp học thống kê linh hoạt sẽ hoạt động tốt hơn hoặc kém hơn một phương pháp không linh hoạt khi:

1. Số lượng dự đoán là cực kỳ lớn, và số lượng quan sát là nhỏ? $p$$n$
2. Phương sai của các điều khoản lỗi, nghĩa là $σ^2 = \text{Var}(e)$ , có cao không?

Tôi nghĩ với (1), khi $n$ nhỏ, các mô hình không linh hoạt sẽ tốt hơn (không chắc chắn). Đối với (2), tôi không biết mô hình nào (tương đối) tốt hơn.

Trong 2 tình huống này, mô hình so sánh linh hoạt so với mô hình không linh hoạt cũng phụ thuộc vào:

• là quan hệ thực sự y = f (x) gần với tuyến tính hoặc rất phi tuyến tính;
• bạn có điều chỉnh / hạn chế mức độ linh hoạt của mô hình "linh hoạt" khi lắp nó không.

Nếu mối quan hệ gần với tuyến tính và bạn không hạn chế tính linh hoạt, thì mô hình tuyến tính sẽ đưa ra lỗi kiểm tra tốt hơn trong cả hai trường hợp vì mô hình linh hoạt có khả năng phù hợp quá mức trong cả hai trường hợp.

Bạn có thể nhìn vào nó như thế:

• Trong cả hai trường hợp, dữ liệu không chứa đủ thông tin về quan hệ thực sự (trong trường hợp đầu tiên quan hệ là chiều cao và bạn không có đủ dữ liệu, trong trường hợp thứ hai, nó bị hỏng do nhiễu) nhưng
  • mô hình tuyến tính mang lại một số thông tin bên ngoài về mối quan hệ thực sự (lớp giới hạn của mối quan hệ phù hợp với mối quan hệ tuyến tính) và
  • rằng thông tin trước đó hóa ra là đúng (quan hệ thực sự gần với tuyến tính).
• Mặc dù mô hình linh hoạt không chứa thông tin trước đó (nó có thể phù hợp với mọi thứ), do đó, nó phù hợp với tiếng ồn.

Tuy nhiên, nếu mối quan hệ thực sự là rất phi tuyến tính, thật khó để nói ai sẽ thắng (cả hai sẽ thua :)).

Nếu bạn điều chỉnh / hạn chế mức độ linh hoạt và thực hiện nó đúng cách (nói bằng xác nhận chéo), thì mô hình linh hoạt sẽ giành chiến thắng trong mọi trường hợp.

Tất nhiên, nó phụ thuộc vào dữ liệu cơ bản mà bạn phải luôn khám phá để tìm hiểu một số đặc điểm của nó trước khi thử điều chỉnh mô hình nhưng những gì tôi đã học được theo quy tắc chung là:

• Một mô hình linh hoạt cho phép bạn tận dụng tối đa kích thước mẫu lớn (n lớn).
• Một mô hình linh hoạt sẽ là cần thiết để tìm hiệu ứng phi tuyến.
• Một mô hình linh hoạt sẽ khiến bạn điều chỉnh quá nhiều tiếng ồn trong vấn đề (khi phương sai của các điều khoản lỗi cao).

Vâng, đối với phần thứ hai, tôi nghĩ rằng mô hình linh hoạt hơn sẽ cố gắng phù hợp với mô hình cứng và dữ liệu đào tạo có độ ồn cao, vì vậy mô hình linh hoạt cũng sẽ cố gắng tìm hiểu tiếng ồn đó và sẽ dẫn đến lỗi kiểm tra nhiều hơn. Tôi biết nguồn gốc của câu hỏi này vì tôi cũng đang đọc cùng một cuốn sách :)

Đối với phần đầu tiên, tôi hy vọng mô hình không linh hoạt sẽ hoạt động tốt hơn với số lượng quan sát hạn chế. Khi n rất nhỏ, cả hai mô hình (dù linh hoạt hay không linh hoạt) sẽ không mang lại dự đoán đủ tốt. Tuy nhiên, mô hình linh hoạt sẽ có xu hướng phù hợp với dữ liệu và sẽ hoạt động kém hơn khi có một thử nghiệm mới.

Lý tưởng nhất là tôi sẽ thu thập nhiều quan sát hơn để cải thiện sự phù hợp, nhưng nếu đó không phải là trường hợp đó, thì tôi sẽ sử dụng mô hình không linh hoạt, cố gắng giảm thiểu lỗi thử nghiệm với một thử nghiệm mới.

Đối với câu hỏi thứ hai tôi tin rằng câu trả lời là cả hai sẽ thực hiện như nhau (giả sử rằng những lỗi đó là không thể sửa chữa được, tức là lỗi này). Thông tin thêm được cung cấp trong Giới thiệu về Học thống kê ở trang 18 (chủ đề: Tại sao ước tính ) nơi tác giả giải thích về việc nói$f$

Độ chính xác của như một dự đoán cho phụ thuộc vào hai đại lượng, mà chúng ta sẽ gọi là lỗi có thể giảm và lỗi không thể khắc phục . Nói chung, sẽ không phải là một ước tính hoàn hảo cho và sự không chính xác này sẽ gây ra một số lỗi. Lỗi này có thể giảm được vì chúng tôi có khả năng cải thiện độ chính xác của bằng cách sử dụng kỹ thuật học thống kê phù hợp nhất để ước tính . Tuy nhiên, ngay cả khi có thể tạo một ước tính hoàn hảo cho , để phản hồi ước tính của chúng tôi có dạng$Y$$Y$$\hat f$$f$$\hat f$$\hat f$$f$$\hat Y = f(X)$, dự đoán của chúng tôi vẫn sẽ có một số lỗi trong đó! Điều này là do cũng là một chức năng của , trong đó, theo định nghĩa, không thể dự đoán bằng . Do đó, tính biến thiên liên quan đến cũng ảnh hưởng đến độ chính xác của dự đoán của chúng tôi. Đây được gọi là lỗi không thể sửa chữa được , vì cho dù chúng tôi ước tính , chúng tôi không thể giảm lỗi được giới thiệu bởi . $Y$$\epsilon$$X$$\epsilon$$f$$\epsilon$

Đối với mỗi phần (a) đến (d), cho biết liệu i. hoặc ii. là chính xác, và giải thích câu trả lời của bạn. Nói chung, chúng tôi hy vọng hiệu suất của một phương pháp học thống kê linh hoạt sẽ hoạt động tốt hơn hoặc kém hơn một phương pháp không linh hoạt khi:

Cỡ mẫu n cực kỳ lớn, và số lượng dự đoán p có nhỏ không?

Tốt hơn. Một phương pháp linh hoạt sẽ phù hợp với dữ liệu gần hơn và với cỡ mẫu lớn, sẽ hoạt động tốt hơn so với phương pháp không linh hoạt.

Số lượng dự đoán p là cực kỳ lớn, và số lượng quan sát n là nhỏ?

Tệ hơn Một phương pháp linh hoạt sẽ phù hợp với số lượng nhỏ các quan sát.

Mối quan hệ giữa các yếu tố dự đoán và phản ứng rất phi tuyến tính?

Tốt hơn. Với nhiều mức độ tự do hơn, một phương pháp linh hoạt sẽ phù hợp hơn so với phương pháp không linh hoạt.

Phương sai của các điều khoản lỗi, tức là σ2 = Var (ε), là cực kỳ cao?

Tệ hơn Một phương pháp linh hoạt sẽ phù hợp với nhiễu trong các điều khoản lỗi và tăng phương sai.

Lấy từ đây .