Tại sao các mô hình quá trình Gaussian được gọi là không tham số?

Tôi la một chut Nhâm lân. Tại sao các quá trình Gaussian được gọi là mô hình không tham số?

Họ giả định rằng các giá trị chức năng, hoặc một tập hợp con của chúng, có Gaussian trước với giá trị trung bình 0 và hàm hiệp phương sai được đưa ra làm hàm kernel. Bản thân các hàm nhân này có một số tham số (ví dụ: siêu đường kính).

Vậy tại sao chúng được gọi là mô hình không tham số?

Tôi sẽ nói trước điều này bằng cách nói rằng không phải lúc nào cũng rõ nghĩa của một từ "không đối xứng" hay "bán định lượng", v.v. Trong các ý kiến, có vẻ như whuber có một định nghĩa chính thức nào đó (có thể giống như chọn một mô hình từ một số gia đình { M θ : θ ∈ Θ } nơi Θ là vô hạn chiều), nhưng tôi sẽ được khá thân mật. Một số người có thể lập luận rằng một phương pháp không tham số là một trong đó số lượng tham số hiệu quả mà bạn sử dụng tăng lên cùng với dữ liệu. Tôi nghĩ rằng có một video trên videolectures.net trong đó (tôi nghĩ) Peter Orbanz đưa ra bốn hoặc năm cách khác nhau về cách chúng ta có thể định nghĩa "không đối xứng".$M_\theta$$\{M_\theta: \theta \in \Theta\}$$\Theta$

Vì tôi nghĩ tôi biết những gì bạn có trong đầu, vì đơn giản tôi sẽ cho rằng bạn đang nói về việc sử dụng các quy trình Gaussian để hồi quy, theo một cách điển hình: chúng tôi có dữ liệu đào tạo và chúng tôi quan tâm đến việc mô hình hóa trung bình có điều kiện E ( Y | X = x ) : = f ( x ) . Chúng tôi viết Y i = f ( X i$(Y_i, X_i), i = 1, ..., n$$E(Y|X = x) := f(x)$ và có lẽ chúng ta rất đậm như để giả định rằng ε i đang IID và thường được phân phối, ε i ~ N ( 0 , σ 2 ) . X i sẽ là một chiều, nhưng mọi thứ đều mang đến kích thước cao hơn.

Nếu của chúng ta có thể lấy các giá trị trong một liên tục thì f ( ⋅ ) có thể được coi là một tham số của kích thước vô hạn (không thể đếm được). Vì vậy, theo nghĩa là chúng ta đang ước tính một tham số có kích thước vô hạn , vấn đề của chúng ta là một tham số không tham số. Đúng là cách tiếp cận Bayes có một số tham số nổi ở đây và đó. Nhưng thực sự, nó được gọi là không định lượng bởi vì chúng ta đang ước tính một cái gì đó có kích thước vô hạn. Các thầy tu GP chúng ta sử dụng gán khối lượng cho mọi vùng lân cận của mọi hàm liên tục, vì vậy chúng có thể ước tính bất kỳ hàm liên tục nào tùy ý.$X_i$$f(\cdot)$

Những điều trong hàm hiệp phương sai được đóng một vai trò tương tự như các thông số làm mịn trong ước lượng frequentist thông thường - để các vấn đề không được hoàn toàn vô vọng, chúng ta phải thừa nhận rằng có một số cấu trúc mà chúng ta mong đợi để xem triển lãm. Bayes thực hiện điều này bằng cách sử dụng trước trên không gian của các hàm liên tục dưới dạng một quy trình Gaussian. Từ quan điểm của Bayes, chúng tôi đang mã hóa niềm tin về f bằng cách giả sử f được rút ra từ GP có chức năng hiệp phương sai tương tự. Việc trước có hiệu quả phạt ước tính của f vì quá phức tạp.$f$$f$$f$$f$

Chỉnh sửa cho các vấn đề tính toán

Hầu hết (tất cả?) Những thứ này có trong cuốn sách Quy trình Gaussian của Rasmussen và Williams.

$O(N^2)$$O(N^3)$$v$$(K + \sigma^2 I)v = Y$$K$$O(N^3)$$k$$O(kN^2)$$K$

$O(N^3)$$O(kN^2)$$N$$m$$m \times m$$Y$$N$$m$$O(m^2 N)$

$K$$K = QQ^T$$Q$$n \times q$$q$$K + \sigma^2 I$$Q^TQ + \sigma^2 I$

Nói chung, "không đối xứng" trong không đối xứng Bayesian đề cập đến các mô hình có số lượng tham số (tiềm năng) vô hạn. Có rất nhiều hướng dẫn và bài giảng thực sự hay về chủ đề này trên videolectures.net ( như bài này ) cung cấp tổng quan tốt đẹp về lớp mô hình này.

Cụ thể, Quá trình Gaussian (GP) được coi là không theo tỷ lệ vì GP đại diện cho một hàm (tức là một vectơ vô hạn). Khi số lượng điểm dữ liệu tăng ((x, f (x))), số lượng tham số 'của mô hình' (hạn chế hình dạng của hàm). Không giống như một mô hình tham số, trong đó số lượng tham số cố định với kích thước của dữ liệu, trong các mô hình không tham số, số lượng tham số tăng theo số lượng điểm dữ liệu.

Các tham số mà bạn gọi là siêu đường kính không phải là tham số động lực vật lý và do đó tên. Chúng được sử dụng để chỉ tham số hóa chức năng kernel. Để đưa ra một ví dụ, trong nhân Gaussian:

$K(x_i,x_j) = h^2 \exp(\frac{-(x_i - x_j)^2}{\lambda^2})$

$h$$\lambda$

Vấn đề này cũng được giải quyết trong bài giảng này , nó có thể giúp hiểu rõ hơn.