Thực hiện thuật toán tiệc cocktail SVD… trong một dòng mã?

Trong một trang trình bày trong bài giảng giới thiệu về máy học của Andrew Ng tại Coursera, Stanford, ông đưa ra giải pháp Octave một dòng sau đây cho vấn đề tiệc cocktail với điều kiện các nguồn âm thanh được ghi lại bằng hai micrô được phân tách theo không gian:

[W,s,v]=svd((repmat(sum(x.*x,1),size(x,1),1).*x)*x');

Ở cuối trang trình bày là "nguồn: Sam Roweis, Yair Weiss, Eero Simoncelli" và ở cuối trang trình bày trước đó là "Đoạn âm thanh lịch sự của Te-Won Lee". Trong video, Giáo sư Ng nói,

"Vì vậy, bạn có thể nhìn vào việc học không giám sát như thế này và hỏi, 'Làm thế nào phức tạp để thực hiện điều này?' Có vẻ như để xây dựng ứng dụng này, có vẻ như để xử lý âm thanh này, bạn sẽ viết rất nhiều mã hoặc có thể liên kết vào một loạt các thư viện C ++ hoặc Java để xử lý âm thanh. Có vẻ như nó sẽ là một chương trình phức tạp để thực hiện âm thanh này: tách ra âm thanh, v.v. Hóa ra thuật toán để thực hiện những gì bạn vừa nghe, điều đó có thể được thực hiện chỉ với một dòng mã ... được hiển thị ngay tại đây. Các nhà nghiên cứu đã mất nhiều thời gian để đưa ra dòng mã này. Vì vậy, tôi không nói đây là một vấn đề dễ dàng. Nhưng hóa ra là khi bạn sử dụng môi trường lập trình phù hợp, nhiều thuật toán học sẽ là những chương trình thực sự ngắn. "

Kết quả âm thanh tách biệt được phát trong video bài giảng không hoàn hảo nhưng theo tôi, thật tuyệt vời. Có ai có bất kỳ thông tin chi tiết nào về cách một dòng mã hoạt động tốt như vậy không? Đặc biệt, có ai biết tài liệu tham khảo giải thích công việc của Te-Won Lee, Sam Roweis, Yair Weiss và Eero Simoncelli liên quan đến một dòng mã đó không?

CẬP NHẬT

Để chứng minh độ nhạy của thuật toán đối với khoảng cách tách micrô, mô phỏng sau đây (trong Octave) tách các âm từ hai bộ tạo âm cách nhau theo không gian.

% define model 
f1 = 1100;              % frequency of tone generator 1; unit: Hz 
f2 = 2900;              % frequency of tone generator 2; unit: Hz 
Ts = 1/(40*max(f1,f2)); % sampling period; unit: s 
dMic = 1;               % distance between microphones centered about origin; unit: m 
dSrc = 10;              % distance between tone generators centered about origin; unit: m 
c = 340.29;             % speed of sound; unit: m / s 

% generate tones
figure(1);
t = [0:Ts:0.025];
tone1 = sin(2*pi*f1*t);
tone2 = sin(2*pi*f2*t);
plot(t,tone1); 
hold on;
plot(t,tone2,'r'); xlabel('time'); ylabel('amplitude'); axis([0 0.005 -1 1]); legend('tone 1', 'tone 2');
hold off;

% mix tones at microphones
% assume inverse square attenuation of sound intensity (i.e., inverse linear attenuation of sound amplitude)
figure(2);
dNear = (dSrc - dMic)/2;
dFar = (dSrc + dMic)/2;
mic1 = 1/dNear*sin(2*pi*f1*(t-dNear/c)) + \
       1/dFar*sin(2*pi*f2*(t-dFar/c));
mic2 = 1/dNear*sin(2*pi*f2*(t-dNear/c)) + \
       1/dFar*sin(2*pi*f1*(t-dFar/c));
plot(t,mic1);
hold on;
plot(t,mic2,'r'); xlabel('time'); ylabel('amplitude'); axis([0 0.005 -1 1]); legend('mic 1', 'mic 2');
hold off;

% use svd to isolate sound sources
figure(3);
x = [mic1' mic2'];
[W,s,v]=svd((repmat(sum(x.*x,1),size(x,1),1).*x)*x');
plot(t,v(:,1));
hold on;
maxAmp = max(v(:,1));
plot(t,v(:,2),'r'); xlabel('time'); ylabel('amplitude'); axis([0 0.005 -maxAmp maxAmp]); legend('isolated tone 1', 'isolated tone 2');
hold off;

Sau khoảng 10 phút thực hiện trên máy tính xách tay của tôi, mô phỏng tạo ra ba hình sau minh họa hai âm riêng biệt có tần số chính xác.

Tuy nhiên, việc đặt khoảng cách tách micrô thành 0 (tức là dMic = 0) khiến mô phỏng thay vào đó tạo ra ba hình sau minh họa mô phỏng không thể tách âm thứ hai (được xác nhận bởi số hạng đường chéo quan trọng duy nhất được trả về trong ma trận svd).

Tôi đã hy vọng khoảng cách tách micrô trên điện thoại thông minh sẽ đủ lớn để tạo ra kết quả tốt nhưng việc đặt khoảng cách tách micrô thành 5,25 inch (tức là dMic = 0,1333 mét) khiến mô phỏng tạo ra những điều sau đây, ít hơn đáng khích lệ, các số liệu minh họa cao hơn các thành phần tần số trong âm cách biệt đầu tiên.

Tôi cũng đang cố gắng tìm ra điều này, 2 năm sau. Nhưng tôi đã có câu trả lời của mình; hy vọng nó sẽ giúp một ai đó.

Bạn cần 2 bản ghi âm. Bạn có thể lấy ví dụ về âm thanh từ http://research.ics.aalto.fi/ica/cocktail/cocktail_en.cgi .

tài liệu tham khảo để thực hiện là http://www.cs.nyu.edu/~roweis/kica.html

được rồi, đây là mã -

[x1, Fs1] = audioread('mix1.wav');
[x2, Fs2] = audioread('mix2.wav');
xx = [x1, x2]';
yy = sqrtm(inv(cov(xx')))*(xx-repmat(mean(xx,2),1,size(xx,2)));
[W,s,v] = svd((repmat(sum(yy.*yy,1),size(yy,1),1).*yy)*yy');

a = W*xx; %W is unmixing matrix
subplot(2,2,1); plot(x1); title('mixed audio - mic 1');
subplot(2,2,2); plot(x2); title('mixed audio - mic 2');
subplot(2,2,3); plot(a(1,:), 'g'); title('unmixed wave 1');
subplot(2,2,4); plot(a(2,:),'r'); title('unmixed wave 2');

audiowrite('unmixed1.wav', a(1,:), Fs1);
audiowrite('unmixed2.wav', a(2,:), Fs1);

x(t) là giọng nói gốc từ một kênh / micrô.

X = repmat(sum(x.*x,1),size(x,1),1).*x)*x'là một ước tính về phổ công suất của x(t). Mặc dù X' = X, khoảng cách giữa các hàng và cột không giống nhau chút nào. Mỗi hàng đại diện cho thời gian của tín hiệu, trong khi mỗi cột là tần số. Tôi đoán đây là một ước tính và đơn giản hóa một biểu thức chặt chẽ hơn được gọi là quang phổ .

Phân tích giá trị đơn lẻ trên quang phổ được sử dụng để phân tích tín hiệu thành các thành phần khác nhau dựa trên thông tin phổ. Giá trị đường chéo trong slà độ lớn của các thành phần phổ khác nhau. Các hàng trong uvà cột trong v'là các vectơ trực giao ánh xạ thành phần tần số có độ lớn tương ứng với Xkhông gian.

Tôi không có dữ liệu giọng nói để kiểm tra, nhưng theo hiểu biết của tôi, bằng SVD, các thành phần rơi vào các vectơ trực giao tương tự hy vọng sẽ được nhóm lại với sự trợ giúp của học tập không giám sát. Giả sử, nếu 2 độ lớn đường chéo đầu tiên từ s được nhóm lại, thì u*s_new*v'sẽ tạo thành giọng nói một người, nơi s_newgiống nhau sngoại trừ tất cả các phần tử tại (3:end,3:end)đều bị loại bỏ.

Hai bài báo về ma trận hình thành âm thanh và SVD để bạn tham khảo.