Deep Learning-based Speaker Verification In Real Conditions
Identification du locuteur par apprentissage profond en conditions réelles
Résumé
Smart applications like speaker verification have become essential in verifying the user’s identity for availing of personal assistants or online banking services based on the user’s voice characteristics. However, far-field or distant speaker verification is constantly affected by surrounding noises which can severely distort the speech signal. Moreover, speech signals propagating in long-range get reflected by various objects in the surrounding area, which creates reverberation and further degrades the signal quality. This PhD thesis explores deep learning-based multichannel speech enhancement techniques to improve the performance of speaker verification systems in real conditions. Multichannel speech enhancement aims to enhance distorted speech using multiple microphones. It has become crucial to many smart devices, which are flexible and convenient for speech applications.
Three novel approaches are proposed to improve the robustness of speaker verification systems in noisy and reverberated conditions. Firstly, we integrate a deep neural network architecture with signal-processing techniques for speech enhancement as a pre-processing to an x-vector-based speaker verification system. We examine the importance of also using such pre-processing during the enrollment phase, which has been largely overlooked in the literature. Experimental evaluation shows that pre-processing improves speaker verification performance if the enrollment files are processed similarly to the test data and if the test and enrollment occur within similar signal-to-noise ranges. We then propose to implement novel score-based diffusion probabilistic models for multichannel speech enhancement as a front-end to an ECAPA-TDNN speaker verification system. Particular emphasis is put on multi-channel speech enhancement techniques. We compute the time-frequency masks and multichannel filters using diffusion probabilistic models. As individual training of the speech enhancement module often introduces certain artefacts and distortions, leading to mismatch problems. We propose joint optimization of both modules as it helps in retaining the information. We expanded the aforementioned approaches by
jointly optimizing speech enhancement and speaker verification with and without knowledge distillation loss. The knowledge distillation loss minimizes the distance between the speaker embeddings obtained from the proposed system and those obtained clean speech signals, further improving the performance of the speaker verification system on different noise conditions.
Les applications telles que la vérification du locuteur sont devenues essentielles pour vérifier l’identité de l’utilisateur à partir de ses caractéristiques vocales pour des assistants personnels ou des services bancaires en ligne. Cependant, la vérification du locuteur avec une prise de son distante est constamment affectée par les bruits environnants qui peuvent considérablement déformer le signal vocal. De plus, les signaux vocaux sont réfléchis par divers objets dans la zone environnante, ce qui crée de la réverbération et dégrade encore plus la qualité du signal. Cette thèse explore les techniques de rehaussement de la parole à multicanal basées sur l’apprentissage profond pour améliorer les performances des systèmes de vérification de locuteur dans des conditions réelles. Le rehaussement de la parole multicanal vise à améliorer la qualité de la parole captée par plusieurs microphones. Elle est devenue cruciale pour de nombreux terminaux, qui sont flexibles et pratiques pour les applications vocales.
Trois approches novatrices sont proposées pour améliorer la robustesse au bruit du système de vérification de locuteur. Tout d’abord, nous intégrons une architecture de réseau neuronal profond avec des techniques de traitement du signal pour le rehaussement de la parole en tant que prétraitement d’un système de vérification de locuteur basé sur les x-vecteurs. Nous examinons l’importance d’effectuer aussi un prétraitement pendant la phase d’enrôlement du locuteur, ce qui a été largement négligé dans la littérature. L’évaluation expérimentale montre que le prétraitement les performances de vérification de locuteur si les fichiers d’enrôlement sont traités de manière similaire à ceux de test, et si le test et l’enregistrement se font dans des plages de signal à bruit similaires. Nous proposons ensuite de mettre en œuvre des modèles de diffusion probabilistes basés sur des scores pour le rehaussement de parole multicanal en tant que front-end d’un système ECAPA-TDNN de vérification de locuteur. Nous mettons particulièrement l’accent sur les techniques de rehaussement de parole multicanal. Nous utilisons des approches de diffusion probabilistes pour calculer soit des masques temps-fréquence, soit des filtres multicanaux. Comme l’entraînement séparé du module de rehaussement de la parole introduit souvent des artefacts et des distorsions, cela entraine une inadéquation pour la vérification du locuteur. Nous proposons une optimisation conjointe pour pallier à ce
problème. Nous avons étendu les approches mentionnées ci-dessus en optimisant conjointement les modèles de rehaussement de la parole et de vérification de locuteur avec ou sans prise en compte d’un critère de distillation de connaissances. Ce critère de distillation de connaissances minimise la distance entre les plongements de locuteur obtenus à partir du système proposé et ceux obtenus à partir de signaux de parole propres (non bruités), améliorant ainsi les performances du système de vérification de locuteur dans différentes conditions de bruit.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|