Điều gì có nghĩa là phương sai của * hàm * trong * Giới thiệu về Học thống kê *?

Trên pg. 34 Giới thiệu về Học thống kê : $\newcommand{\Var}{{\rm Var}}$

Mặc dù bằng chứng toán học nằm ngoài phạm vi của cuốn sách này, có thể chỉ ra rằng MSE thử nghiệm dự kiến, với giá trị $x_0$ , luôn có thể được phân tách thành tổng của ba đại lượng cơ bản: phương sai của $\hat{f}(x_0)$ , độ lệch bình phương của $\hat{f}(x_0)$ và phương sai của các điều khoản lỗi $\varepsilon$ . Đó là,

$$E\left(y_0 - \hat{f}(x_0)\right)^2 = \Var\big(\hat{f}(x_0)\big) + \Big[{\rm Bias}\big(\hat{f}(x_0)\big)\Big]^2 + \Var(\varepsilon)$$

[...] Phương sai cho biết số tiền mà $\hat{f}$ sẽ thay đổi nếu chúng tôi ước tính nó bằng cách sử dụng một tập dữ liệu huấn luyện khác.

Câu hỏi: Vì $\Var\big(\hat{f}(x_0)\big)$ dường như biểu thị phương sai của các hàm , điều này có nghĩa chính thức là gì?

Đó là, tôi quen thuộc với khái niệm phương sai của một biến ngẫu nhiên $X$ , nhưng còn phương sai của một tập hợp các hàm thì sao? Điều này có thể được coi là phương sai của một biến ngẫu nhiên khác có giá trị có dạng hàm không?

Sự tương ứng của bạn với @whuber là chính xác.

Một thuật toán học tập có thể được xem như là một hàm cấp cao hơn, ánh xạ các tập huấn luyện thành các hàm.$\mathcal{A}$

trong đó là không gian của các bộ huấn luyện có thể. Đây có thể là một chút lông về mặt khái niệm, nhưng về cơ bản, mỗi kết quả tập huấn riêng lẻ, sau khi sử dụng thuật toán đào tạo mô hình, trong một hàm speicific có thể được sử dụng để đưa ra dự đoán cho điểm dữ liệu .$\mathcal{T}$$f$$x$

Nếu chúng ta xem không gian của các tập huấn luyện là không gian xác suất, do đó có một số phân phối các tập dữ liệu huấn luyện có thể, thì thuật toán đào tạo mô hình trở thành một hàm có giá trị biến ngẫu nhiên và chúng ta có thể nghĩ về các khái niệm thống kê. Cụ thể, nếu chúng tôi sửa một điểm dữ liệu cụ thể , thì chúng tôi sẽ nhận được biến ngẫu nhiên có giá trị số$x_0$

Tức là, đầu tiên đào tạo thuật toán trên , sau đó đánh giá mô hình kết quả tại . Đây chỉ là một biến ngẫu nhiên cũ, nhưng được xây dựng khéo léo, ngẫu nhiên trên một không gian xác suất, vì vậy chúng ta có thể nói về phương sai của nó. Đây là phương sai trong công thức của bạn từ ISL.$T$$x_0$

Một giải thích trực quan bằng cách sử dụng lặp đi lặp lại

Để đưa ra một diễn giải trực quan / trực quan cho câu trả lời của @Matthew Drury, hãy xem xét ví dụ về đồ chơi sau đây.

• Dữ liệu được tạo từ đường cong hình sin nhiễu: "True noise"$f(x) \ +$
• Dữ liệu được phân chia giữa các mẫu đào tạo và thử nghiệm (75% - 25%)
• Một mô hình tuyến tính (đa thức) được trang bị cho dữ liệu đào tạo:$\hat f(x)$
• Quá trình này được lặp đi lặp lại nhiều lần bằng cách sử dụng cùng một dữ liệu (nghĩa là chia tách đào tạo - kiểm tra ngẫu nhiên bằng cách sử dụng lặp lại Sklearm)
• Điều này tạo ra nhiều mô hình khác nhau, từ đó chúng tôi tính giá trị trung bình và phương sai tại mỗi điểm cũng như trên tất cả các điểm.$x=x_i$

Xem bên dưới để biết các đồ thị kết quả cho mô hình đa thức bậc 2 và độ 6. Ngay từ cái nhìn đầu tiên, dường như đa thức cao hơn (màu đỏ) có phương sai lớn hơn.

Lập luận rằng biểu đồ màu đỏ có phương sai lớn hơn - về mặt thực nghiệm

Đặt và tương ứng với các biểu đồ màu xanh lá cây và màu đỏ và là một ví dụ của biểu đồ, có màu xanh nhạt và đỏ nhạt. Gọi là số điểm dọc theo trục và là số đồ thị (tức là số lượng mô phỏng). Ở đây ta có và$\hat f_g$$\hat f_r$$\hat f^{(i)}$$n$$x$$m$$n = 400$$m = 200$

Tôi thấy ba kịch bản chính

1. Phương sai của các giá trị dự đoán tại một điểm cụ thể lớn hơn tức là$x = x_0$$Var \ \left[ \{\hat f^{(1)}_r(x_0), ..., \hat f^{(m)}_r(x_0)\} \right] > Var \ \left[ \{\hat f^{(1)}_g(x_0),...,\hat f^{(i)}_g(x_0)\} \right]$
2. Phương sai trong lớn hơn cho tất cả các điểm trong phạm vi $(1)$ $\{ x_1,...,x_{400} \}$$(0,1)$
3. Phương sai trung bình lớn hơn (nghĩa là có thể nhỏ hơn đối với một số điểm)

Trong trường hợp ví dụ về đồ chơi này, cả ba kịch bản đều đúng trong phạm vi , điều này biện minh cho lập luận rằng sự phù hợp đa thức bậc cao (màu đỏ) có phương sai cao hơn so với đa thức bậc thấp (màu xanh lá cây).$(0,1)$

Một kết luận mở

Điều gì nên được tranh luận khi ba kịch bản trên không phải tất cả giữ. Ví dụ, điều gì xảy ra nếu phương sai của các dự đoán màu đỏ trung bình lớn hơn, nhưng không phải cho tất cả các điểm.

Chi tiết về nhãn

Xét điểm$x_0 = 0.5$

• Thanh lỗi là phạm vi giữa tối thiểu và tối đa của$\hat f(x_0)$
• Phương sai được tính tại$x_0$
• Đúng là đường màu xanh chấm$f(x)$