Cần thêm bao nhiêu chính quy để làm cho SVD ổn định?

Tôi đã sử dụng SVD của Intel MKL ( dgesvdthông qua SciPy) và nhận thấy rằng kết quả khác biệt đáng kể khi tôi thay đổi độ chính xác giữa float32và float64khi ma trận của tôi bị điều hòa kém / không xếp hạng đầy đủ. Có hướng dẫn nào về số lượng chính quy tối thiểu tôi nên thêm để làm cho kết quả không nhạy cảm với float32-> float64thay đổi không?

Đặc biệt, làm , tôi thấy rằng chỉ tiêu di chuyển khoảng 1 khi tôi thay đổi chính xác giữa và . Chỉ tiêu của là và nó có khoảng 200 giá trị riêng trong tổng số 784. $A=UDV^{T}$ $L_\infty$ $V^{T}X$ float32float64 $L_2$ $A$ $10^5$

Làm SVD trên với đã biến mất sự khác biệt. $\lambda I + A$ $\lambda=10^{-3}$

— Ba Tư
nguồn

Kích thước là gì

của một

ma trận

ví dụ đó (được nó ngay cả một ma trận vuông)? 200 giá trị riêng hoặc giá trị số ít? Một tiêu chuẩn Frobenius

cho một ví dụ đại diện cũng sẽ hữu ích.

N

$N$

N \times N

$N\times N$

A

$A$

| | A | |_{F}

$||A||_\text{F}$

— Anton Menshov

Trong trường hợp này là ma trận 784 x 784, nhưng tôi quan tâm nhiều hơn đến kỹ thuật chung để tìm ra giá trị tốt của lambda

— Yaroslav Bulatov

Vì vậy, sự khác biệt về

chỉ trong các cột cuối cùng tương ứng với các giá trị số ít không?

V

$V$

— Nick Alger

Nếu có một vài giá trị số ít bằng nhau, svd không phải là duy nhất. Trong ví dụ của bạn, tôi đoán rằng vấn đề xuất phát từ nhiều giá trị số ít bằng 0 và độ chính xác khác nhau dẫn đến một lựa chọn khác nhau về cơ sở cho không gian số ít tương ứng. Tôi không biết tại sao điều đó lại thay đổi khi bạn thường xuyên hóa ...

— Dirk

...

là gì?

X

$X$

— Federico Poloni

Câu trả lời:

Mặc dù câu hỏi có một câu trả lời tuyệt vời, đây là một quy tắc ngón tay cái cho các giá trị số ít, với một cốt truyện.

Nếu một giá trị số ít là khác không nhưng rất nhỏ, bạn nên xác định giá trị đối ứng của nó bằng 0, vì giá trị rõ ràng của nó có thể là một yếu tố của lỗi vòng, không phải là một số có ý nghĩa. Một câu trả lời hợp lý cho câu hỏi "nhỏ như thế nào là nhỏ?" là để chỉnh sửa theo cách này tất cả các giá trị đặc biệt mà tỷ lệ so với lớn nhất là ít hơn lần so với máy chính xác . $N$ $\epsilon$

$\qquad$ - Công thức toán số p. 795

Đã thêm: một vài dòng sau đây tính quy tắc này.

#!/usr/bin/env python2

from __future__ import division
import numpy as np
from scipy.sparse.linalg import svds  # sparse, dense or LinOp

#...............................................................................
def howsmall( A, singmax=None ):
    """ singular values < N float_eps sing_max  may be iffy, questionable
        "How small is small ?"
        [Numerical Recipes p. 795](http://apps.nrbook.com/empanel/index.html?pg=795)
    """
        # print "%d singular values are small, iffy" % (sing < howsmall(A)).sum()
        # small |eigenvalues| too ?
    if singmax is None:
        singmax = svds( A, 1, return_singular_vectors=False )[0]  # v0=random

    return max( A.shape ) * np.finfo( A.dtype ).eps * singmax

Ma trận Hilbert dường như được sử dụng rộng rãi như một trường hợp thử nghiệm cho lỗi vòng:

Ở đây các bit có thứ tự thấp trong các mantissas của ma trận Hilbert bằng 0 A.astype(np.float__).astype(np.float64), sau đó np.linalg.svdđược chạy trong float64. (Kết quả với svdtất cả float32là như nhau.)

Việc cắt ngắn đơn giản float32thậm chí có thể hữu ích cho việc từ chối dữ liệu chiều cao, ví dụ như để phân loại thử nghiệm / đào tạo.

Trường hợp thử nghiệm thực sự sẽ được hoan nghênh.

— từ chối
nguồn

btw, scipy dường như thêm một yếu tố 1e3 cho float32 và 1e6 cho float64, tò mò những thứ này đến từ đâu

— Yaroslav Bulatov

@Yaroslav Bulatov numpyvà scipy.linalg.svdgọi LAPACK gesdd , xem tham số JOBRtrong dgejsv: "Chỉ định RANGE cho các giá trị số ít. Cấp giấy phép để đặt thành các giá trị số ít dương nhỏ nếu chúng ở bên ngoài ..." ( scipy.sparse.linalg.svdsbao bọc ARPACK và có tham số tol, Dung sai cho các giá trị số ít.)

— denis

$A=A^{T}$ $M=U \Sigma V^T$

H = [\begin{matrix} 0 & M \\ M^{T} & 0 \end{matrix}] = [\begin{matrix} U & 0 \\ 0 & V \end{matrix}] [\begin{matrix} 0 & Σ \\ Σ & 0 \end{matrix}] {[\begin{matrix} U & 0 \\ 0 & V \end{matrix}]}^{T}

$H=\begin{bmatrix}0 & M\\ M^{T} & 0 \end{bmatrix}=\begin{bmatrix}U & 0\\ 0 & V \end{bmatrix}\begin{bmatrix}0 & \Sigma\\ \Sigma & 0 \end{bmatrix}\begin{bmatrix}U & 0\\ 0 & V \end{bmatrix}^{T}$

$\epsilon>0$

A_{ϵ} = [\begin{matrix} 1 & ϵ \\ ϵ & 1 \end{matrix}] = V Λ_{ϵ} V^{T}, B_{ϵ} = [\begin{matrix} 1 + ϵ & 0 \\ 0 & 1 - ϵ \end{matrix}] = U Λ_{ϵ} U^{T}

$A_{\epsilon}=\begin{bmatrix}1 & \epsilon\\ \epsilon & 1 \end{bmatrix}=V\Lambda_{\epsilon}V^{T},\qquad B_{\epsilon}=\begin{bmatrix}1+\epsilon & 0\\ 0 & 1-\epsilon \end{bmatrix}=U\Lambda_{\epsilon}U^{T}$

Λ_{ϵ} = d i a g (1 + ϵ, 1 - ϵ)

$\Lambda_{\epsilon}=\mathrm{diag}(1+\epsilon,1-\epsilon)$

V = \frac{1}{\sqrt{2}} [\begin{matrix} 1 & 1 \\ 1 & - 1 \end{matrix}], U = [\begin{matrix} 1 & 0 \\ 0 & 1 \end{matrix}] .

$V=\frac{1}{\sqrt{2}}\begin{bmatrix}1 & 1\\ 1 & -1 \end{bmatrix},\qquad U=\begin{bmatrix}1 & 0\\ 0 & 1 \end{bmatrix}.$

A_{ϵ} \approx B_{ϵ}

$A_{\epsilon} \approx B_{\epsilon}$

V

$V$

U

$U$

ϵ > 0

$\epsilon>0$

U, V

$U,V$

U \approx V

$U\approx V$

$M_{0}=U_{0}\Sigma_{0}V_{0}^{T}$ float64 $M_{\epsilon}=U_{\epsilon}\Sigma_{\epsilon}V_{\epsilon}^{T}$ float32 $\Sigma_{0},\Sigma_{\epsilon}$ $\epsilon\approx10^{-7}$ $U_{0},U_{\epsilon}$ $V_{0},V_{\epsilon}$

— Richard Zhang
nguồn

Đây có phải là ví dụ từ: users.math.msu.edu/users/markiwen/Teaching/MTH995/Papers/ tựa ?

— Ghi nhớ

Đó là một tài liệu tham khảo tuyệt vời. Tôi không biết, tôi đã học được ví dụ cụ thể này nhiều năm trước trong lớp toán :-)

— Richard Zhang