Hiểu các tham số hàm cơ sở Gaussian được sử dụng trong hồi quy tuyến tính

Tôi muốn áp dụng hàm cơ sở Gaussian vào triển khai hồi quy tuyến tính. Thật không may, tôi đang gặp khó khăn để hiểu một vài tham số trong hàm cơ sở. Cụ $\mu$ và $\sigma$ .

Tập dữ liệu của tôi là một ma trận 10.000 x 31. 10.000 mẫu và 31 tính năng. Tôi đã đọc rằng "Mỗi hàm cơ sở chuyển đổi vectơ đầu vào x thành giá trị vô hướng". Vì vậy, tôi giả sử x là 1 mẫu nên một vectơ 1 x 31. Từ đây tôi bối rối. Chính xác thì tham số $\mu_j$ gì? Tôi đã đọc rằng điều này chi phối các vị trí của các chức năng cơ bản. Vì vậy, đây không phải là ý nghĩa của một cái gì đó? Tôi cũng đang ném ra bởi j subscript ( $\mu$ và $\phi$ ), điều này khiến tôi nghĩ hàng thứ j. Nhưng điều đó dường như không có ý nghĩa. Là $\mu_j$ một vectơ? Bây giờ cho các $\sigma$"chi phối quy mô không gian". Chính xác thì đó là gì? Tôi đã thấy một số triển khai thử các giá trị như .1, .5, 2.5 cho tham số này. Làm thế nào là những giá trị được tính toán? Tôi đã nghiên cứu và tìm kiếm các ví dụ để học hỏi nhưng đến giờ tôi vẫn chưa thể tìm thấy. Bất kỳ trợ giúp hoặc hướng được đánh giá rất cao! Cảm ơn bạn.

Khi bạn bối rối, hãy để tôi bắt đầu bằng cách nêu rõ vấn đề và đưa ra từng câu hỏi của bạn. Bạn có cỡ mẫu là 10.000 và mỗi mẫu được mô tả bằng một vectơ đặc trưng . Nếu bạn muốn thực hiện hồi quy sử dụng các hàm cơ sở xuyên tâm Gaussian sau đó đang tìm kiếm một chức năng có dạng f ( x ) = Σ j w j * g j ( x ; μ j , σ j ) , j = 1 .. m nơi g $x\in\mathbb{R}^{31}$

Chính xác thì tham số j là gì?

Bạn cần tìm cơ sở hàm g j . (Bạn vẫn cần phải xác định số m ) Mỗi chức năng cơ sở sẽ có một μ j và σ j (cũng không rõ). Các chỉ số j dao động từ$m$$g_j$$m$$\mu_j$$\sigma_j$$j$ đến m .$1$$m$

Là một vectơ?$\mu_j$

Vâng, đó là một điểm trong . Nói cách khác, nó là điểm ở đâu đó trong không gian đặc trưng của bạn và một $\mathbb{R}^{31}$$\mu$ phải được xác định cho mỗi hàm cơ sở.$m$

Tôi đã đọc rằng điều này chi phối các vị trí của các chức năng cơ bản. Vì vậy, đây không phải là ý nghĩa của một cái gì đó?

Hàm cơ sở được tập trung tại μ j . Bạn sẽ cần phải quyết định nơi các địa điểm này. Vì vậy, không, nó không nhất thiết là ý nghĩa của bất cứ điều gì (nhưng xem thêm để biết cách xác định)$j^{th}$$\mu_j$

Bây giờ cho sigma "chi phối quy mô không gian". Chính xác thì đó là gì?

là dễ hiểu nếu chúng ta chuyển sang các chức năng cơ sở mình.$\sigma$

Nó giúp nghĩ về các hàm cơ sở xuyên tâm Gaussian trong các độ sáng thấp hơn, giả sử hoặc R 2 . Trong R 1 , hàm cơ sở xuyên tâm Gaussian chỉ là đường cong hình chuông nổi tiếng. Chuông tất nhiên có thể hẹp hoặc rộng. Chiều rộng được xác định bởi σ - lớn hơn σ là hẹp hơn hình dạng chuông. Nói cách khác, σ quy mô chiều rộng của hình chuông. Vì vậy, đối σ = 1 chúng tôi không có mở rộng quy mô. Cho lớn$\mathbb{R}^{1}$$\mathbb{R}^{2}$$\mathbb{R}^{1}$$\sigma$$\sigma$$\sigma$$\sigma$ chúng tôi có tỉ lệ đáng kể.$\sigma$

Bạn có thể hỏi mục đích của việc này là gì. Nếu bạn nghĩ về chiếc chuông bao phủ một phần không gian (một dòng trong ) - một chiếc chuông hẹp sẽ chỉ bao phủ một phần nhỏ của dòng *. Điểm x gần trung tâm của chuông sẽ có giá trị g j ( x ) lớn hơn . Các điểm ở xa trung tâm sẽ có giá trị g j ( x ) nhỏ hơn . Chia tỷ lệ có tác dụng đẩy các điểm ra xa trung tâm hơn - vì chuông thu hẹp các điểm sẽ nằm xa trung tâm hơn - làm giảm giá trị của g j ( x $\mathbb{R}^{1}$$x$$g_j(x)$$g_j(x)$$g_j(x)$

Mỗi hàm cơ sở chuyển đổi vectơ đầu vào x thành giá trị vô hướng

Có, bạn đang đánh giá các hàm cơ bản tại một số điểm $\mathbf{x}\in\mathbb{R}^{31}$ .

Bạn nhận được một vô hướng như là kết quả. Kết quả vô hướng phụ thuộc vào khoảng cách của điểm từ trung tâm $\mathbf{x}$ do ‖ x - μ j ‖ và vô hướng σ j .$\mu_j$$\|\mathbf{x}-\mu_j\|$$\sigma_j$

Tôi đã thấy một số triển khai thử các giá trị như .1, .5, 2.5 cho tham số này. Làm thế nào là những giá trị được tính toán?

Tất nhiên đây là một trong những khía cạnh thú vị và khó khăn khi sử dụng các hàm cơ sở xuyên tâm của Gaussian. Nếu bạn tìm kiếm trên web, bạn sẽ tìm thấy nhiều gợi ý về cách xác định các tham số này. Tôi sẽ phác thảo trong các điều khoản rất đơn giản một khả năng dựa trên phân cụm. Bạn có thể tìm thấy điều này và một số gợi ý khác trực tuyến.

Bắt đầu bằng cách phân cụm 10000 mẫu của bạn (trước tiên bạn có thể sử dụng PCA để giảm kích thước theo sau là phân cụm k-Means). Bạn có thể đặt là số cụm bạn tìm thấy (thường sử dụng xác thực chéo để xác định m tốt nhất$m$$m$ ). Bây giờ, tạo một hàm cơ sở xuyên tâm cho mỗi cụm. Đối với mỗi hàm cơ sở xuyên tâm để μ j là trung tâm (ví dụ trung bình, centroid, vv) của cluster. Hãy σ j phản ánh chiều rộng của cụm (ví dụ bán kính ...) Bây giờ đi trước và thực hiện hồi quy của bạn (mô tả này đơn giản chỉ là một overview- nó cần rất nhiều công việc tại mỗi bước!)$g_j$$\mu_j$$\sigma_j$

* Tất nhiên, đường cong hình chuông được định nghĩa từ - đến ∞ như vậy sẽ có giá trị ở khắp mọi nơi trên đường dây. Tuy nhiên, các giá trị xa trung tâm là không đáng kể$\infty$$\infty$

Hãy để tôi cố gắng đưa ra lời giải thích đơn giản. Trong ký hiệu như vậy có thể là số hàng nhưng cũng có thể là số tính năng. Nếu chúng ta viết y = β 0 + Σ j = 1 : 31 β j φ j ( x ) sau đó j biểu thị đặc trưng số, y là cột-vector, β j là vô hướng và φ j ( x ) là một cột-vector. Nếu chúng ta viết y j = beta φ j ( x ) sau đó$j$$y=\beta_0+\sum_{j=1:31}{\beta_j\phi_j(x)}$$j$$y$$\beta_j$$\phi_j(x)$$y_j=\beta\phi_j(x)$ số biểu thị hàng, y j là vô hướng,$j$$y_j$$\beta$ là cột vector và là một dãy vector. Ký hiệu nơi tôi biểu thị hàng và j biểu thị cột là phổ biến hơn, vì vậy chúng ta hãy sử dụng biến thể đầu tiên.$\phi_j(x)$$i$$j$

Đưa hàm cơ sở Gaussian vào hồi quy tuyến tính, (vô hướng) bây giờ không phụ thuộc vào các giá trị số của các tính năng x i (vectơ), mà phụ thuộc vào khoảng cách giữa x i và tâm của tất cả các điểm khác μ i . Theo cách đó , tôi không phụ thuộc vào giá trị tính năng thứ j của quan sát thứ i là cao hay nhỏ, mà phụ thuộc vào giá trị tính năng thứ j là gần hay xa so với giá trị trung bình của j -feature μ i j . Vậy μ $y_i$$x_i$$x_i$$\mu_i$$y_i$$j$$i$$j$$j$$\mu_{ij}$$\mu_j$ không phải là một tham số , vì nó không thể được điều chỉnh. Nó chỉ là một tài sản của một bộ dữ liệu. Các tham số $\sigma^2$ là giá trị vô hướng, nó kiểm soát độ mịn và có thể điều chỉnh. Nếu nó nhỏ, những thay đổi nhỏ về khoảng cách sẽ có hiệu ứng lớn (hãy nhớ gaussian dốc: tất cả các điểm nằm ở khoảng cách nhỏ từ tâm có giá trị nhỏ ). Nếu nó lớn, những thay đổi nhỏ về khoảng cách sẽ có hiệu quả thấp (hãy nhớ gaussian phẳng: sự giảm của y với khoảng cách tăng dần từ trung tâm là chậm). Giá trị tối ưu của σ 2 nên được tìm kiếm (thường được tìm thấy với xác nhận chéo).$y$$y$$\sigma^2$

The Gaussian basis functions in the multivariate settings have multivariate centers. Assuming that your $x\in\mathbb{R}^{31}$, then $\mu_j\in\mathbb{R}^{31}$ as well. The Gaussian has to be multivariate, i.e. $e^{(x-\mu_j)'\Sigma_j^{-1}(x-\mu_j)}$ where $\Sigma_j\in\mathbb{R}^{31\times 31}$ is a covariance matrix. The index $j$ is not a component of a vector, it is just the $j$th vector. Similarly, $\Sigma_j$ is the $j$th matrix.