Phương pháp nào để sử dụng để phân biệt các tông màu (âm nhạc?) Khác nhau

Tôi đang cố gắng nghiên cứu và tìm ra cách tốt nhất để tấn công vấn đề này. Nó đứng trên nền tảng xử lý âm nhạc, xử lý hình ảnh và xử lý tín hiệu, và do đó, có vô số cách để xem xét nó. Tôi muốn hỏi về những cách tốt nhất để tiếp cận nó vì những gì có vẻ phức tạp trong miền sig-Proc thuần túy có thể đơn giản (và đã được giải quyết) bởi những người xử lý hình ảnh hoặc âm nhạc. Dù sao, vấn đề là như sau:

Nếu bạn tha thứ cho bản vẽ vấn đề của tôi, chúng ta có thể thấy như sau:

Từ hình trên, tôi có 3 loại 'tín hiệu' khác nhau. Đầu tiên là một xung sắp xếp 'bước' theo tần số từ đến f 4 , sau đó lặp lại. Nó có thời lượng xung cụ thể và thời gian lặp lại xung cụ thể.$f_1$$f_4$

Cái thứ hai chỉ tồn tại ở , nhưng có độ dài xung ngắn hơn và tần số lặp lại xung nhanh hơn.$f_1$

Cuối cùng, cái thứ ba chỉ đơn giản là một giai điệu tại .$f_1$

Vấn đề là, bằng cách nào tôi tiếp cận vấn đề này, để tôi có thể viết một bộ phân loại có thể phân biệt giữa tín hiệu-1, tín hiệu-2 và tín hiệu-3. Đó là, nếu bạn cung cấp cho nó một trong các tín hiệu, nó sẽ có thể cho bạn biết tín hiệu này là như vậy và như vậy. Những gì phân loại tốt nhất sẽ cho tôi một ma trận nhầm lẫn đường chéo?

Một số bối cảnh bổ sung và những gì tôi đã nghĩ đến cho đến nay:

Như tôi đã nói điều này đứng trên một số lĩnh vực. Tôi muốn hỏi về phương pháp nào có thể tồn tại trước khi tôi ngồi xuống và chiến đấu với điều này. Tôi không muốn vô tình phát minh lại bánh xe. Dưới đây là một số suy nghĩ tôi đã có từ các quan điểm khác nhau.

Quan điểm xử lý tín hiệu: Một điều tôi đã xem xét là thực hiện Phân tích Cepstral , và sau đó có thể sử dụng Băng thông Gabor của cepstrum trong phân biệt tín hiệu-3 từ 2 tín hiệu kia, và sau đó đo mức cao nhất của cepstrum trong tín hiệu phân biệt đối xử- 1 từ tín hiệu-2. Đó là giải pháp xử lý tín hiệu hiện tại của tôi.

Quan điểm xử lý hình ảnh: Ở đây tôi đang suy nghĩ vì trên thực tế tôi có thể tạo ra hình ảnh theo sơ đồ phổ, có lẽ tôi có thể tận dụng một cái gì đó từ lĩnh vực đó? Tôi không quen thuộc lắm với phần này, nhưng còn việc thực hiện phát hiện 'dòng' bằng cách sử dụng Biến đổi Hough , và sau đó bằng cách nào đó 'đếm' các dòng (nếu chúng không phải là dòng và đốm màu thì sao?) Và đi từ đó? Tất nhiên tại bất kỳ thời điểm nào khi tôi lấy một quang phổ, tất cả các xung bạn thấy có thể bị dịch chuyển dọc theo trục thời gian, vậy vấn đề này có quan trọng không? Không chắc...

Quan điểm xử lý âm nhạc: Một tập hợp xử lý tín hiệu chắc chắn, nhưng đối với tôi, tín hiệu-1 có chất lượng nhất định, có thể lặp đi lặp lại mà mọi người trong chương trình âm nhạc luôn thấy và đã giải quyết trong có thể phân biệt công cụ? Không chắc chắn, nhưng ý nghĩ đã xảy ra với tôi. Có lẽ quan điểm này là cách tốt nhất để xem xét nó, lấy một phần của miền thời gian và trêu chọc những bước đi đó? Một lần nữa, đây không phải là lĩnh vực của tôi, nhưng tôi rất nghi ngờ đây là thứ đã được nhìn thấy trước đây ... chúng ta có thể xem cả 3 tín hiệu là các loại nhạc cụ khác nhau không?

Tôi cũng nên nói thêm rằng tôi có một lượng dữ liệu đào tạo kha khá, vì vậy có lẽ sử dụng một số phương pháp đó có thể cho phép tôi thực hiện một số trích xuất tính năng mà sau đó tôi có thể sử dụng K-Recent Neighbor , nhưng đó chỉ là suy nghĩ.

Dù sao đây là nơi tôi đứng ngay bây giờ, bất kỳ trợ giúp đều được đánh giá cao.

Cảm ơn!

EDITS DỰA TRÊN Ý KIẾN:

• Có, , f 2 , f 3 , f 4 đều được biết trước. (Một số phương sai nhưng rất ít. Ví dụ: giả sử chúng ta biết rằng f 1 = 400 Khz, nhưng nó có thể đến ở mức 401,32 Khz. Tuy nhiên, khoảng cách đến f 2 là cao, vì vậy f 2 có thể so với 500 Khz.) Tín hiệu-1 sẽ LUÔN bước trên 4 tần số đã biết. Tín hiệu-2 sẽ LUÔN có 1 tần số.$f_1$$f_2$$f_3$$f_4$$f_1$$f_2$$f_2$

• Tốc độ lặp lại xung và độ dài xung của cả ba loại tín hiệu cũng được biết trước. (Lại một số phương sai nhưng rất ít). Một số cảnh báo mặc dù, tốc độ lặp lại xung và độ dài xung của tín hiệu 1 và 2 luôn được biết đến, nhưng chúng là một phạm vi. May mắn thay, những phạm vi đó không chồng chéo lên nhau.

• Đầu vào là một chuỗi thời gian liên tục xuất hiện ở thời gian thực, nhưng chúng ta có thể giả sử rằng các tín hiệu 1, 2 và 3 là loại trừ lẫn nhau, trong đó, chỉ có một trong số chúng tồn tại tại bất kỳ thời điểm nào. Chúng tôi cũng có rất nhiều sự linh hoạt về số lượng thời gian mà bạn dành nó để xử lý tại bất kỳ thời điểm nào.

• Dữ liệu có thể ồn ào có, và có thể có các âm giả, v.v., tại các dải không nằm trong , f 2 , f 3 , f 4 đã biết của chúng tôi . Điều này là hoàn toàn có thể. Mặc dù vậy, chúng ta có thể giả sử SNR ở mức trung bình chỉ để 'bắt đầu' về vấn đề này.$f_1$$f_2$$f_3$$f_4$

Bước 1

Tính toán STFT $S(m, k)$$m$$k$

Bước 2

Đối với mỗi khung STFT, hãy tính tần số cơ bản chi phối bằng cách sử dụng một cái gì đó như YIN, cùng với chỉ báo "độ tin cậy cao độ", chẳng hạn như độ sâu của DMF "nhúng" được tính toán bởi YIN.

Hãy để chúng tôi gọi chiếm ưu thế. Ước tính tại khung m và$f(m)$$m$$v(m)$$m$

$r_0$

Bạn cũng có thể tính tổng năng lượng tín hiệu $e(m)$$m$

Bước 3

Hãy xem xét một cửa sổ trượt của khung STFT. $M$$M$$M = 50$

Trích xuất các tính năng sau:

• là độ lệch chuẩn của dãy ( f ( m ) ) m ∈ [ k - M , k + M ] , v ( $\sigma_f(k)$$(f(m))_{m \in [k - M, k + M], v(m) > \tau}$
• $\sigma_v(k)$$(v(m))_{m \in [k - M, k + M]}$
• $\sigma_e(k)$$(e(m))_{m \in [k - M, k + M]}$

$\sigma_f$$\sigma_v$$\sigma_e$

$\sigma_f$$\sigma_v$$\sigma_e$$\sigma_f$$\sigma_v$$\sigma_e$$\sigma_f$$\sigma_v$$\sigma_e$

Tính toán 3 tính năng này trên dữ liệu đào tạo của bạn và huấn luyện một trình phân loại bayes ngây thơ (chỉ là một loạt các phân phối gaussian). Tùy thuộc vào mức độ tốt của dữ liệu của bạn, bạn thậm chí có thể thoát khỏi các trình phân loại và sử dụng các ngưỡng được xác định bằng tay trên các tính năng, mặc dù tôi không khuyến nghị điều này.

Bước 4

Để xử lý luồng dữ liệu đến, hãy tính STFT, tính toán các tính năng và phân loại từng cửa sổ của $M$

Nếu dữ liệu và phân loại của bạn tốt, bạn sẽ thấy một cái gì đó như thế này:

1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 1, 1, 1, 1, 1, 1, 1, 3, 3, 3, 3, 3, 3, 3

Điều này phân định khá tốt thời gian bắt đầu và kết thúc, và loại của từng tín hiệu.

Nếu dữ liệu của bạn bị nhiễu, phải có các khung phân loại sai:

1, 1, 1, 1, 1, 2, 1, 1, 1, 2, 2, 3, 2, 2, 1, 1, 1, 3, 1, 1, 1, 3, 3, 3, 2, 3, 3, 3

Nếu bạn thấy nhiều thứ nhảm nhí như trong trường hợp thứ hai, hãy sử dụng bộ lọc chế độ trên dữ liệu trên các vùng lân cận của 3 hoặc 5 phát hiện; hoặc sử dụng HMM.

Tin nhắn về nhà

Những gì bạn muốn dựa trên sự phát hiện của bạn không phải là một tính năng phổ, mà là các số liệu thống kê tạm thời về các tính năng phổ trên các cửa sổ có cùng tỷ lệ với thời lượng tín hiệu của bạn. Vấn đề này thực sự đòi hỏi phải xử lý theo hai thang thời gian: khung STFT mà bạn tính toán các thuộc tính tín hiệu rất cục bộ (biên độ, cường độ, cường độ cao) và các cửa sổ lớn hơn mà bạn nhìn vào sự biến đổi theo thời gian của các thuộc tính tín hiệu đó.

Một cách tiếp cận khác có thể là bốn máy dò heterodyne: Nhân tín hiệu đầu vào với bộ tạo dao động cục bộ gồm 4 tần số và bộ lọc thông thấp cho kết quả đầu ra. Mỗi đầu ra đại diện cho một đường thẳng đứng trong hình ảnh của bạn. Bạn nhận đầu ra ở mỗi 4 tần số dưới dạng hàm thời gian. Với bộ lọc thông thấp, bạn có thể quay số độ lệch tần số bạn muốn cho phép và tốc độ bạn muốn đầu ra thay đổi nhanh như thế nào, tức là các cạnh sắc nét như thế nào.

Điều này sẽ hoạt động tốt ngay cả khi tín hiệu khá nhiễu.