Các ma trận hạt nhân RBF có xu hướng bị điều hòa không?

Tôi sử dụng hàm kernel RBF để thực hiện một thuật toán học máy dựa trên kernel (KLPP), ma trận nhân kết quả $K$

K (Tôi, j) = = điểm kinh nghiệm (\frac{- (x_{Tôi} - x_{j})^{2}}{σ_{m}^{2}})

$K(i,j)= \exp\left({\frac{-(x_{i}-x_{j})^2}{ \sigma_{m}^2}}\right)$ được chứng minh là vô cùng ốm-conditioned.The số điều kiện của L2-norm đến

10^{17} - 10^{64}

$10^{17}-10^{64}$

Có cách nào để làm cho nó điều hòa tốt? Tôi đoán tham số $\sigma$ cần phải được điều chỉnh, nhưng tôi không biết làm thế nào chính xác.

Cảm ơn!

— ZeyuHu
nguồn

tốt, nếu bạn thực hiện

σ_{m}

$\sigma_m$ nhỏ bạn cải thiện số điều kiện.

— dùng189035

Câu trả lời:

Giảm chiều rộng hạt nhân thường sẽ làm giảm số điều kiện. $\sigma_m$

Tuy nhiên, ma trận hạt nhân có thể trở thành số ít hoặc gần với số ít, đối với bất kỳ hàm cơ sở hoặc phân phối điểm nào, với điều kiện các hàm cơ sở chồng chéo. Lý do cho điều này thực sự khá đơn giản:

Ma trận hạt nhân là số ít khi yếu tố quyết định của nó là zero. $K$ $\det(K)$
Đổi hai điểm và trong phép nội suy của bạn tương đương với việc trao đổi hai hàng trong , giả sử các điểm dùng thử của bạn không đổi. $x_i$ $x_j$ $K$
Hoán đổi hai hàng trong một ma trận chuyển đổi dấu hiệu quyết định của nó.

Bây giờ hãy tưởng tượng chọn hai điểm và $x_i$ $x_j$ và từ từ xoay chúng để chúng chuyển vị trí. Trong khi làm điều này, yếu tố quyết định của sẽ chuyển đổi dấu hiệu, trở thành số 0 tại một số điểm ở giữa. Tại thời điểm này, , theo định nghĩa, số ít. $K$ $K$

— Pedro
nguồn

Không phải ma trận K đối xứng - hoán đổi hai điểm hoán đổi hàng và cột?

— chối

@Denis Đó chỉ là trường hợp nếu các nút và điểm dùng thử của bạn giống nhau và bạn di chuyển cả hai. Đây là lý do tại sao, trong viên đạn thứ hai, tôi đã viết "giả sử điểm thử nghiệm của bạn không đổi."

— Pedro

ma trận hạt nhân của Gaussian (câu hỏi của OP) dù sao cũng là bán xác định dương?

— chối

@Denis: Một lần nữa, đây là câu hỏi về cách bạn xác định vấn đề nội suy RBF của mình. Hãy xem xét trường hợp chung nhất mà bạn có

xỉ hàm tập trung vào các điểm

, và bạn muốn giảm thiểu suy tại

điểm

. Ví dụ của người đăng giả định

và

. Nếu ban đầu chúng ta đặt

và

N

$N$

x_{i}

$x_i$

i = 1 \dots N

$i=1\dots N$

M

$M$

ξ_{j}

$\xi_j$

j = 1 \dots M

$j=1\dots M$

M = N

$M=N$

ξ_{j} = x_{i}

$\xi_j=x_i$

M \leftarrow N

$M\leftarrow N$

, và sau đó chỉ cần di chuyển

, chúng ta có thể tạo ra

số ít.

ξ_{j} \leftarrow x_{i}

$\xi_j \leftarrow x_i$

x_{i}

$x_i$

K

$K$

— Pedro

Một vài gợi ý:

Chọn khoảng cách trung bình | ngẫu nhiên - gần nhất $\sigma \sim$ $x$ $x_i$ . (A xấp xỉ giá rẻ cho điểm được phân bố đều trong đơn vị khối trong , là 0.5 / .) Chúng tôi muốn là lớn đối với gần , nhỏ cho nhiễu nền; cốt truyện cho một vài ngẫu nhiên $N$ $\mathbb{R}^d, d\ 2 .. 5$ $N^{1/d}$
$\phi( |x - x_i| )$ $x_i$ $x$ . $x$
Chuyển đi từ 0, , hoặc lâu hơn; đó là, thường xuyên $K$ $K \to K + \lambda I$ $\lambda \sim 10^{-6}$
Nhìn vào khối lượng từ giải quyết . Nếu một số vẫn còn rất lớn (bất kể số điều kiện), điều đó sẽ có xu hướng xác nhận Boyd (bên dưới) rằng Gaussian RBF về cơ bản là yếu. $(K + \lambda I) w = f$

(Một thay thế cho RBF là Inverse đường trọng, IDW. Nó có lợi thế là tính năng tự động mở rộng quy mô, tương tự cho khoảng cách gần 1 2 3 như đối với 100 200 300 Ngoài ra tôi thấy sự lựa chọn sử dụng rõ ràng của , số lượng gần hàng xóm để xem xét, rõ ràng hơn so với tìm kiếm trên lưới $\dots$ $\dots$ $Nnear$ ). $\sigma, \lambda$

John P. Boyd, Sự vô dụng của Biến đổi Gauss nhanh để tổng hợp chuỗi hàm cơ sở xuyên tâm Gaussian , nói

phép nội suy RBF của Gaussian không được điều hòa trong hầu hết các chuỗi theo nghĩa là nội suy là sự khác biệt nhỏ của các thuật ngữ với các hệ số lớn theo cấp số nhân.

Hi vọng điêu nay co ich; hãy chia sẻ kinh nghiệm của bạn

— từ chối
nguồn