Tính nhất quán của quá trình học tập

Tôi có hai câu hỏi liên quan đến khái niệm "tính nhất quán trong học tập" đối với những người quen thuộc với lý thuyết học thống kê a la Vapnik.

Câu hỏi 1.
Quá trình học tập được gọi là nhất quán (đối với lớp chức năng$\mathcal{F}$ và phân phối xác suất $P$) nếu

Hai điều kiện này là độc lập. Trên P. 83 trong "Lý thuyết học thống kê" của Vapnik có một ví dụ về một bộ phân loại sao cho sự hội tụ thứ hai diễn ra nhưng lần thứ nhất thì không. Tôi đã suy nghĩ về một ví dụ về một tập hợp các phân loại sao cho sự hội tụ đầu tiên diễn ra nhưng lần thứ hai thì không, và không thể đưa ra bất cứ điều gì. bất cứ ai có thể giúp tôi ở đây?$\mathcal{F}$

Câu hỏi 2.
Quá trình học tập được gọi là nhất quán không nhất quán (hoặc nhất quán theo nguyên tắc) (đối với lớp hàm và phân phối xác suất ) nếu với bất kỳ số thực nào sao cho đặt không trống chúng ta có:$\mathcal{F}$$P$$c \in R$$\Lambda(c) = \{ f | R(f) \geq c \}$

Trang 81 của "Lý thuyết học thống kê" của LinkedInnik cung cấp một minh họa về lý do tại sao chúng tôi muốn xem xét tính nhất quán nghiêm ngặt thay vì tính nhất quán được xác định trong Câu hỏi 1, tức là tại sao chúng tôi muốn giới thiệu và xem xét cho bất kỳ . Tất cả các văn bản khác xem xét tính nhất quán nghiêm ngặt về cơ bản đều trùng lặp minh họa của LinkedInnik khi họ muốn giải thích lý do căn bản đằng sau khái niệm về tính nhất quán nghiêm ngặt. Tuy nhiên, tôi không thực sự hài lòng với minh họa của Vapnik vì 2 lý do: thứ nhất, nó được thực hiện dưới dạng các hàm mất$\Lambda(c)$$\inf_{f \in \Lambda(c)}$$c$$Q(z, \alpha)$và không phải là các bộ phân loại, và, thứ hai, Hình 3.2. từ cuốn sách không thực sự có ý nghĩa khi chúng ta xem xét hàm mất chung cho các vấn đề phân loại, nghĩa là hàm bằng 0 khi nhãn lớp dự đoán bằng với nhãn lớp thực và 1 khác.

Vì vậy, có thể đưa ra một minh họa khác, hợp lý hơn, về sự hợp lý đằng sau khái niệm về tính nhất quán nghiêm ngặt? Về cơ bản, chúng ta cần một ví dụ về một bộ phân loại sao cho các phân loại này không nhất quán (theo định nghĩa của Câu hỏi 1) và một số phân loại mới hoạt động tốt hơn bất kỳ phân loại nào từ tập hợp, để khi chúng ta thêm các phân loại này đến tập hợp chúng ta kết thúc với trường hợp "tính nhất quán tầm thường". Có ý kiến ​​gì không?

Đối với Câu hỏi 1 của bạn, tôi có một ví dụ, nhưng nó yêu cầu hàm mất để lấy giá trị . Tôi khá chắc chắn rằng chúng ta có thể đưa ra một ví dụ chỉ yêu cầu một hàm mất không giới hạn, nhưng đó sẽ là một công việc nhiều hơn để xây dựng. Một câu hỏi mở là liệu có một ví dụ với hàm mất giới hạn.$\infty$

Hãy xem xét cài đặt phân loại, trong đó phân phối xác suất nằm trên một khoảng . Chúng tôi sẽ biểu thị một ví dụ bằng , với và . Đặt là không gian của tất cả các hàm phân loại trên . Xác định hàm mất$P$$\mathcal{Z}=\mathcal{X}\times\{0,1\}$$z=(x,y)$$x\in\mathcal{X}$$y\in\{0,1\}$$\mathcal{F}=\mathcal{X}^{\{0,1\}}$$\mathcal{X}$

Bây giờ, giả sử $\mathcal{X}=\left\{ x_{1},x_{2},\ldots\right\}$ là một số vô hạn được thiết lập, và hãy $P$ là bất kỳ phân phối xác suất nào $P(\{x_{i}\})>0$ cho tất cả $i=1,2,\ldots$. Ngoài ra, hãy giả sử rằng có một chức năng phân loại xác định, tức là có tồn tại $c\in\mathcal{F}$ mà $y_{i}=c(x_{i})$ cho $i=1,2,...$. Điều này ngụ ý rằng$\inf_{f\in\mathcal{F}}R(f)=0$.

Sau đó cho mỗi $l$, $R_{emp}(f_{l}^{*})=0$, nhưng $R(f_{l}^{*})=\infty$ (trừ khi có một sự lựa chọn cực kỳ may mắn $f_{l}^{*}$ trong số tất cả những người $f\in\mathcal{F}$ có $0$lỗi thực nghiệm). Như vậy$R_{emp}(f_{l}^{*})\to\inf_{f\in\mathcal{F}}R(f)$, nhưng $R(f_{l}^{*})$ không hội tụ đến giá trị đó.

Đối với Câu hỏi 2, tôi đồng ý rằng ví dụ của anh ấy dường như không áp dụng cho trường hợp phân loại và tôi không thấy một cách rõ ràng để làm ví dụ như vậy.