Xác định cách âm thanh tương tự như lời nói của con người

Trong khi tìm kiếm một câu trả lời cho vấn đề này, tôi đã tìm thấy bảng này nên đã quyết định đăng chéo câu hỏi này của tôi từ Stack Overflow.

Tôi đang tìm kiếm một phương pháp xác định sự giống nhau giữa một đoạn âm thanh và giọng nói của con người, được thể hiện bằng số.

Tôi đã tìm kiếm khá nhiều, nhưng những gì tôi tìm thấy cho đến nay (chi tiết bên dưới) không thực sự phù hợp với những gì tôi cần:

• Một phương pháp là sử dụng phần mềm nhận dạng giọng nói để lấy từ từ một đoạn âm thanh. Tuy nhiên, phương pháp này không thể đưa ra âm thanh "tương tự" như thế nào đối với lời nói của con người; nó thường có thể cho biết có âm thanh trong âm thanh hay không, nhưng nếu không có từ xác định, nó không thể nói gần âm thanh là có những từ đó.
  Ví dụ: Nhân sư CMU , Chuồn chuồn , SHoUT

• Phương pháp hứa hẹn hơn được gọi là Phát hiện hoạt động bằng giọng nói (VAD). Tuy nhiên, điều này có xu hướng có cùng các vấn đề: các thuật toán / chương trình sử dụng VAD có xu hướng chỉ trả về việc có đạt được ngưỡng hoạt động hay không và không có giá trị "tương tự" trước hoặc sau ngưỡng đó. Ngoài ra, nhiều người chỉ tìm âm lượng, không giống với lời nói của con người.
  Ví dụ: Speex , Listener , FreeSWITCH

Có ý kiến ​​gì không?

Loại vấn đề này thường được giải quyết bằng cách sử dụng các kỹ thuật máy học.

Chia tín hiệu thành một chuỗi gồm 20ms hoặc 50ms khung hình. Trích xuất các tính năng trên mỗi khung hình. MFCC thường tốt cho loại ứng dụng này, mặc dù có tính năng cụ thể hơn để phát hiện giọng nói (năng lượng điều chế 4 Hz - gần bằng tốc độ mà mọi người nói; tốc độ vượt qua không).

Sau đó, bằng cách sử dụng một tập hợp âm thanh mà bạn đã gắn nhãn thủ công là lời nói / không phải lời nói, hãy huấn luyện một trình phân loại (mô hình hỗn hợp Gaussian, SVM ...) trên các tính năng của khung.

Điều này sẽ cho phép bạn phân loại các khung không ghi nhãn thành các lớp nói / không nói. Bước cuối cùng bao gồm làm mịn các quyết định (một khung được phân loại là không nói được bao quanh bởi hàng trăm khung giọng nói có khả năng là lỗi phân loại), ví dụ như sử dụng HMM hoặc chỉ là bộ lọc trung bình.

Một vài tài liệu tham khảo:

Phân loại lời nói / âm nhạc mạnh mẽ trong tài liệu âm thanh (Pinquier & al) Phân biệt lời nói / âm nhạc cho các ứng dụng đa phương tiện (El-Maleh & al) So sánh các tính năng cho phân biệt đối xử lời nói / âm nhạc (Carey & al)

Lưu ý rằng các tính năng và kỹ thuật phân loại mà họ mô tả cũng có liên quan đến vấn đề 1 lớp phát hiện lời nói (thay vì phân biệt lời nói với điều gì khác). Trong trường hợp này, bạn có thể sử dụng các kỹ thuật mô hình hóa 1 lớp như SVM 1 lớp hoặc chỉ lấy điểm khả năng ra khỏi GMM được đào tạo trên dữ liệu giọng nói như một biện pháp "nói".

Mặt khác, nếu vấn đề của bạn thực sự phân biệt lời nói với một thứ khác (nói âm nhạc), bạn cũng có thể sử dụng rất tốt các phương pháp không giám sát , tập trung vào việc phát hiện ranh giới giữa nội dung âm thanh tương tự - thay vì tự xác định nội dung này.