Làm cách nào để sử dụng chính xác mã Matlab GPML cho một vấn đề thực tế (không phải bản demo)?

Tôi đã tải xuống mã GPML Matlab mã GPML gần đây nhất và tôi đã đọc tài liệu và chạy bản thử nghiệm hồi quy mà không gặp vấn đề gì. Tuy nhiên, tôi đang gặp khó khăn trong việc hiểu làm thế nào để áp dụng nó vào một vấn đề hồi quy mà tôi phải đối mặt.

Vấn đề hồi quy được định nghĩa như sau:

Đặt là một vectơ đầu vào và là mục tiêu tương ứng của nó. Tập hợp các đầu vào được sắp xếp thành một ma trận và các mục tiêu tương ứng của chúng được lưu trữ trong một ma trận , với là giá trị đích trung bình trong .$\mathbf{x}_i \in \mathbb{R}^{20}$$\mathbf{y}_i \in \mathbb{R}^{25}$$M$$\mathbf{X} = [\mathbf{x}_1, \dots, \mathbf{x}_M]^\top$$\mathbf{Y} = [\mathbf{y}_1 - \mathbf{\bar{y}}, \dots, \mathbf{y}_M-\mathbf{\bar{y}}]^\top$$\mathbf{\bar{y}}$$\mathbf{Y}$

Tôi muốn đào tạo một mô hình GPR bằng cách sử dụng hàm số mũ bình phương:$\mathcal{G} = \lbrace \mathbf{X}, \mathbf{Y}, \theta \rbrace$

$k(\mathbf{x}_i, \mathbf{x}_j) = \alpha^2 \text{exp} \left( - \frac{1}{2\beta^2}(\mathbf{x}_i - \mathbf{x}_j)^2\right) + \gamma^2\delta_{ij}$ ,

trong đó bằng nếu và nếu không. Các siêu đường kính là với là mức nhiễu giả định trong dữ liệu huấn luyện và là thang đo chiều dài.$\delta_{ij}$$1$$i = j$$0$$\theta = (\alpha, \beta, \gamma)$$\gamma$$\beta$

Để đào tạo mô hình, tôi cần giảm thiểu khả năng cận biên của log âm đối với các siêu đường kính:

$-\text{log}\, p(\mathbf{Y} \mid \mathbf{X}, \theta) = \frac{1}{2} \text{tr}(\mathbf{Y}^\top\mathbf{K}^{-1}\mathbf{Y}) + \frac{1}{2}\text{log}\mid\mathbf{K}\mid + \,c,$

Trong đó c là hằng số và ma trận là một hàm của siêu đường kính (xem phương trình k (xi, xj) = ...).$\mathbf{K}$

Dựa trên bản demo được cung cấp trên trang web GPML, nỗ lực của tôi trong việc thực hiện điều này bằng cách sử dụng mã Matlab GPML dưới đây.

covfunc = @covSEiso;
likfunc = @likGauss;
sn = 0.1;
hyp.lik = log(sn);
hyp2.cov = [0;0];
hyp2.lik = log(0.1);
hyp2 = minimize(hyp2, @gp, -100, @infExact, [], covfunc, likfunc, X1, Y1(:, n));
exp(hyp2.lik)
nlml2 = gp(hyp2, @infExact, [], covfunc, likfunc, X1, Y1(:, n));
[m s2] = gp(hyp2, @infExact, [], covfunc, likfunc, X1, Y1(:, n), X2);
Y2r(:, n) = m;

X1 chứa các đầu vào đào tạo

X2 chứa các đầu vào thử nghiệm

Y1 chứa các mục tiêu đào tạo

Y2r là các ước tính từ việc áp dụng mô hình

n là chỉ số được sử dụng để hồi quy từng phần tử trong vectơ đầu ra

Đưa ra vấn đề, đây có phải là cách chính xác để đào tạo và áp dụng mô hình GPR? Nếu không, tôi cần thay đổi điều gì?

GP thực hiện công việc tốt cho dữ liệu đào tạo của bạn. Tuy nhiên, nó không tuyệt vời cho dữ liệu thử nghiệm. Có lẽ bạn đã từng chạy một cái gì đó giống như sau:

load('../XYdata_01_01_ab.mat');

for N = 1 : 25
    % normalize
    m = mean(Y1(N,:));
    s = std(Y1(N,:));
    Y1(N,:) = 1/s * (Y1(N,:) - m);
    Y2(N,:) = 1/s * (Y2(N,:) - m);

    covfunc = @covSEiso;
    ell = 2;
    sf = 1;
    hyp.cov = [ log(ell); log(sf)];

    likfunc = @likGauss;
    sn = 1;
    hyp.lik = log(sn);

    hyp = minimize(hyp, @gp, -100, @infExact, [], covfunc, likfunc, X1', Y1(N,:)');
    [m s2] = gp(hyp, @infExact, [], covfunc, likfunc, X1', Y1(N,:)', X1');    
    figure;    
    subplot(2,1,1); hold on;    
    title(['N = ' num2str(N)]);    
    f = [m+2*sqrt(s2); flipdim(m-2*sqrt(s2),1)];
    x = [1:length(m)];
    fill([x'; flipdim(x',1)], f, [7 7 7]/8);
    plot(Y1(N,:)', 'b');
    plot(m, 'r');
    mse_train = mse(Y1(N,:)' - m);

    [m s2] = gp(hyp, @infExact, [], covfunc, likfunc, X1', Y1(N,:)', X2');
    subplot(2,1,2); hold on;
    f = [m+2*sqrt(s2); flipdim(m-2*sqrt(s2),1)];
    x = [1:length(m)];
    fill([x'; flipdim(x',1)], f, [7 7 7]/8);    
    plot(Y2(N,:)', 'b');
    plot(m, 'r');
    mse_test = mse(Y2(N,:)' - m);

    disp(sprintf('N = %d -- train = %5.2f   test = %5.2f', N, mse_train, mse_test));
end

Điều chỉnh siêu đường kính bằng tay và không sử dụng chức năng thu nhỏ có thể cân bằng lỗi tàu và kiểm tra phần nào, nhưng điều chỉnh phương pháp bằng cách xem lỗi kiểm tra không phải là điều bạn phải làm. Tôi nghĩ những gì đang xảy ra là quá nặng đối với ba đối tượng của bạn đã tạo ra dữ liệu đào tạo. Không có phương pháp nào có thể làm tốt công việc ở đây, và làm thế nào được? Bạn cung cấp dữ liệu đào tạo, vì vậy phương pháp cố gắng đạt được càng tốt càng tốt trên dữ liệu đào tạo mà không cần quá nhiều. Và thực tế, nó không quá phù hợp theo nghĩa cổ điển. Nó không phù hợp với dữ liệu, nhưng nó phù hợp với ba đối tượng đào tạo. Ví dụ, xác nhận chéo với tập huấn luyện sẽ cho chúng ta biết rằng không có quá mức. Tuy nhiên, bộ kiểm tra của bạn sẽ được giải thích kém.

Những gì bạn có thể làm là:

1. Nhận dữ liệu từ nhiều đối tượng để đào tạo. Bằng cách này, người thứ tư của bạn sẽ ít có khả năng trông giống như một "ngoại lệ" như hiện tại. Ngoài ra, bạn chỉ có một chuỗi của mỗi người, phải không? Có lẽ nó sẽ giúp ghi lại trình tự nhiều lần.

2. Bằng cách nào đó kết hợp kiến ​​thức trước về nhiệm vụ của bạn sẽ giữ cho một phương pháp không bị quá tải đến các đối tượng cụ thể. Trong một GP có thể được thực hiện thông qua chức năng hiệp phương sai, nhưng có lẽ không dễ thực hiện ...

3. Nếu tôi không nhầm, các chuỗi trong thực tế là chuỗi thời gian. Có lẽ sẽ có ý nghĩa khi khai thác các mối quan hệ tạm thời, ví dụ sử dụng các mạng thần kinh tái phát.

Chắc chắn là nhiều hơn thế, nhưng đó là những điều tôi có thể nghĩ ra ngay bây giờ.

Tôi nghĩ rằng vấn đề có thể là một trong những đặc điểm kỹ thuật sai. Nếu mục tiêu của bạn là các góc được bao bọc đến + -180 độ, thì "quá trình nhiễu" cho dữ liệu của bạn có thể không đủ Guassian rằng bằng chứng Baysian không phải là một cách tốt để tối ưu hóa các tham số siêu. Ví dụ, hãy xem xét những gì xảy ra khi "nhiễu" làm cho tín hiệu bị bao quanh. Trong trường hợp đó, có thể là khôn ngoan khi thực hiện lựa chọn mô hình bằng cách giảm thiểu lỗi xác thực chéo (có một triển khai miền công cộng của phương pháp đơn giản Nelder-Mead ở đâynếu bạn không có hộp công cụ tối ưu hóa). Ước tính xác thực chéo của hiệu suất không quá nhạy cảm với đặc tả sai của mô hình vì nó là ước tính trực tiếp của hiệu suất thử nghiệm, trong khi đó khả năng cận biên của mô hình là bằng chứng của mô hình cho rằng các giả định mô hình là chính xác. Xem cuộc thảo luận bắt đầu từ trang 123 của cuốn sách của Rasmussen và Williams.

Một cách tiếp cận khác là mã hóa lại các đầu ra để mô hình nhiễu Gaussian phù hợp hơn. Một điều bạn có thể làm là một số hình thức giảm kích thước không giám sát, vì có các mối quan hệ phi tuyến tính giữa các mục tiêu của bạn (vì chỉ có một cách hạn chế trong đó cơ thể có thể di chuyển), do đó sẽ có một đa chiều thấp hơn mà bạn các mục tiêu tiếp tục tồn tại và sẽ tốt hơn nếu hồi quy các tọa độ của đa tạp đó hơn là các góc (có thể có ít mục tiêu theo cách đó).

Ngoài ra một số loại phân tích Procrustes có thể là một ý tưởng tốt để bình thường hóa sự khác biệt giữa các đối tượng trước khi đào tạo mô hình.

Bạn có thể tìm thấy một số công việc được thực hiện bởi Neil Lawrence trong việc phục hồi sở thích của con người. Tôi nhớ đã thấy một bản demo của điều này tại một hội nghị vài năm trước và rất ấn tượng.