Hiểu không có định lý bữa trưa miễn phí trong Phân loại mẫu của Duda et al

Tôi có một số câu hỏi về các ký hiệu sử dụng trong Mục 9.2 Thiếu sự ưu việt vốn có của bất kỳ Classifier trong Duda, Hart và Cò của Pattern Phân loại . Trước tiên hãy để tôi trích dẫn một số văn bản có liên quan từ cuốn sách:

• Để đơn giản, hãy xem xét một vấn đề hai loại, trong đó tập huấn luyện $D$ bao gồm các mẫu $x^i$ và các nhãn danh mục liên quan $y_i = ± 1$ cho $i = 1,..., n$ được tạo bởi hàm mục tiêu chưa biết sẽ được học, $F(x)$ , trong đó $y_i = F(x^i)$ .
• Gọi $H$ là tập hợp các giả thuyết (rời rạc) hoặc các tham số có thể học được. Một giả thuyết nói riêng $h(x) \in H$ có thể được mô tả bằng trọng lượng tử trong một mạng lưới thần kinh, hoặc các thông số 0 trong một mô hình chức năng, hoặc bộ quyết định trong một cây, và vân vân.
• Hơn nữa, $P(h)$ là xác suất trước rằng thuật toán sẽ tạo ra giả thuyết $h$ sau khi đào tạo; lưu ý rằng đây không phải là xác suất mà $h$ đúng.
• Tiếp theo, $P(h|D)$ biểu thị khả năng rằng các thuật toán sẽ mang lại giả thuyết $h$ khi tập huấn về các dữ liệu $D$ . Trong các thuật toán học xác định như cây lân cận và cây quyết định gần nhất, $P(h|D)$ sẽ ở mọi nơi bằng không ngoại trừ một giả thuyết duy nhất $h$ . Đối với các phương pháp ngẫu nhiên (như mạng lưới thần kinh được đào tạo từ các trọng số ban đầu ngẫu nhiên) hoặc học tập ngẫu nhiên Boltzmann, $P(h|D)$ có thể là một phân phối rộng.
• Đặt $E$ là lỗi của hàm zero-one hoặc hàm mất khác.

Lỗi phân loại tập huấn ngoài dự kiến ​​khi hàm thực là $F(x)$ và xác suất cho thuật toán học ứng viên thứ $k$ là $P_k(h(x)|D)$ được đưa ra bởi

$$\mathcal{E}_k(E|F,n) = \sum_{x\notin D} P(x) [1-\delta(F(x), h(x))] P_k(h(x)|D)$$

Định lý 9.1. (Không ăn trưa miễn phí) Đối với bất kỳ hai thuật toán học tập $P_1 (h |D)$ và $P_2(h|D)$ , những điều sau đây là đúng, không phụ thuộc vào phân phối mẫu $P(x)$ và số $n$ của các điểm đào tạo:

1. Tính trung bình thống nhất trên tất cả các hàm mục tiêu $F$ , $\mathcal{E}_1 (E|F, n) — \mathcal{E}_2(E|F, n) = 0$

2. Đối với bất kỳ tập huấn cố định $D$ , trung bình đồng đều trên $F$ , $\mathcal{E}_1 (E|F, D) — \mathcal{E}_2(E|F, D) = 0$

Phần 1 là thực sự nói

$$\sum_F \sum_D P(D|F) [\mathcal{E}_1 (E|F, n) — \mathcal{E}_2(E|F, n)] = 0$$

Phần 2 được thực sự nói

$$\sum_F [\mathcal{E}_1 (E|F, D) — \mathcal{E}_2(E|F, D)] = 0$$

Câu hỏi của tôi là

1. Trong công thức của , tức là E k ( E | F , n ) = ∑ x ∉ D P ( x ) [ 1 - δ ( F ( x ) , h ( x ) ) ] P k ( h ( x ) | D ) , tôi có thể thay thế $\mathcal{E}_k(E|F,n)$ $$\mathcal{E}_k(E|F,n) = \sum_{x\notin D} P(x) [1-\delta(F(x), h(x))] P_k(h(x)|D),$$ với P k ( h | D ) và di chuyển nó ra ngoài tổng ∑ x ∉ D , bởi vì nó thực sự là một phân phối của h trên H cho D chothuật toán học ngẫu nhiên thứ k ?$P_k(h(x)|D)$$P_k(h|D)$$\sum_{x \notin D}$$h$$H$$D$$k$
2. Cho rằng các thuật toán học ứng cử viên thứ là một phương pháp ngẫu nhiên, tại sao trong công thức của E k ( E | F , n ) , không có tiền qua h , tức là Σ h ∈ H ?$k$$\mathcal{E}_k(E|F,n)$$h$$\sum_{h \in H}$

3. Làm thế nào là và E i ( E | F , n ) khác nhau từ mỗi khác?$\mathcal{E}_i (E|F, D)$$\mathcal{E}_i (E|F, n)$

   Có phải có nghĩa là tỷ lệ lỗi đào tạo được đưa ra cho tập huấn luyện D không?$\mathcal{E}_i (E|F, D)$$D$

   Có phải có nghĩa là tỷ lệ lỗi đào tạo, trung bình trên tất cả các tập huấn được đưa ra với quy mô đào tạo n ? Nếu có, tại sao phần 1 trong NFL lý trung bình E i ( E | F , n ) qua bộ đào tạo một lần nữa bằng cách viết Σ D , và tại sao trong công thức cho E k ( E | F , n ) , không có so với trung bình tất cả các tập huấn cho một kích thước đào tạo n ?$\mathcal{E}_i (E|F, n)$$n$$\mathcal{E}_i (E|F, n)$$\sum_D$$\mathcal{E}_k(E|F,n)$$n$

4. Trong phần 1 của định lý NFL, không bộ trung bình tổng hợp trên tất cả các huấn luyện với một huấn luyện kích thước cố định n ?$\sum_D$$n$
5. Nếu tổng hợp thêm tất cả các giá trị có thể có trong của kích thước đào tạo n trong phần 1, kết quả vẫn là 0, phải không?$\mathbb{N}$$n$
6. Trong công thức của , nếu tôi thay đổi Σ x ∉ D để Σ x , tức là x không nhất thiết phải hạn chế được bên ngoài tập huấn luyện, sẽ cả hai phần trong NFL lý vẫn là sự thật?$\mathcal{E}_k(E|F,n)$$\sum_{x \notin D}$$\sum_x$$x$
7. Nếu mối quan hệ thực sự giữa và y không được coi là hàm xác định F là y = F ( x ) , mà thay vào đó là các phân phối có điều kiện P ( y | x ) hoặc phân phối chung P ( x , y ) tương đương với biết P ( y | x ) và P ( x ) (cũng thấy câu hỏi khác của tôi ), sau đó tôi có thể thay đổi E k$x$$y$$F$$y=F(x)$$P(y|x)$$P(x,y)$$P(y|x)$$P(x)$ là E k ( E | P ( x , y ) , n ) = E x , y [ 1 - δ ( y , h ( x ) ) ] P k ( h ( x ) | D ) (với lạ P k ( h ( x ) |$\mathcal{E}_k (E|F,n)$ $$\mathcal{E}_k(E|P(x,y),n) = \mathcal{E}_{x,y} [1-\delta(y, h(x))] P_k(h(x)|D)$$ đã chỉ ra trong phần 1 và 2). Hai phần trong định lý NFL có còn đúng không?$P_k(h(x)|D)$

Cảm ơn và trân trọng!

Tôi sẽ trả lời các câu hỏi mà tôi nghĩ rằng tôi biết câu trả lời.

1. $x$$D$$h$$x$
2. $h$$x$$H$$x$
3. $\mathcal{E}_i(E|F, D)$$F$$D$$\mathcal{E}_i(E|F, n)$$n$$x$các giá trị. Nhưng điều này là khó hiểu đưa ra các tuyên bố tiếp theo.
4. $D$là tập các vectơ đào tạo. Có$n$ đào tạo vectơ trong $D$. Vì vậy, bạn đang tổng hợp cố định$n$ đào tạo vectơ trong $D$. Chỉ có một bộ$D$.
5. Tôi nghĩ rằng câu trả lời cho 5 là không. Các ký hiệu có vẻ hơi khó hiểu.

Không thể nhận xét về 6 và 7.