Continuous speech recognition in a noisy environment : application to stochastic trajectory models
Reconnaissance automatique de la parole continue en environnement bruité : application à des modèles stochastiques de trajectoires
Résumé
Most automatic speech recognisers perform poorly when the training and testing conditions are not matched. This dissertation describes a number of algorithms that improve the noise robustness of the VINICS continuo us speech recogniser, developed at CRIN-INRIA Lorraine and based on stochastic modeling of speech trajectories.
First, we give a review of recent works dealing with noisy speech recognition.
Second, we propose and compare three noisy speech recognition approaches. In the first one, a noisy speech Stochastic Trajectory Model (STM) is derived from a clean speech STM and an hidden Markov model of noise. The second approach performs an STM state-based filtering of the noisy speech parametric signal, where the estimators are derived in the logspectrum domain. In the last method, we develop an adaptation framework based on linear regression to adapt STM means to new environments. Experiments on a continuous speech recognition task on speech corrupted by different additive noises show that the adaptation
using linear regression outperforms the other approaches.
In the last part, we first study the noise robustness of speech parameters derived using linear discriminant analysis. The derived parameters are very efficient when the training and the testing signal-to-noise ratios are matched, but are very sensitive to signal-to-noise ratio variations. Then, we propose the use of Bayesian reestimation to reduce the mismatches between phone duration in Lombard and clean speech. On an isolated word speech recognition task, the adaptation of phone duration models significantly improve the recognition rate.
Les systèmes actuels de reconnaissance automatique de la parole (rap) sont généralement peu robustes aux variations du signal intervenant entre les conditions de test et d'apprentissage. Dans cette thèse, nous proposons et évaluons différentes approches pour améliorer la robustesse au bruit du système de reconnaissance de parole continue vinics du crin-inria lorraine, fondé sur des modèles stochastiques de trajectoires de parole (STM). Dans une première partie, nous dressons un bilan des principales approches développées dans le domaine du rap dans le bruit. La seconde partie est une étude et comparaison de trois approches. Nous développons d'une part une méthode permettant d'estimer un STM hybride de parole bruitée, à partir d'un modèle de Markov caché de bruit et d'un STM de parole propre. D'autre part, nous proposons d'appliquer un filtrage du signal, spécifique à chaque état de chaque STM et optimisé selon un critère significatif au niveau perceptif. Ensuite, nous appliquons une méthode d'adaptation des STMs de parole propre aux variations des conditions d'environnement, calculée par régression linéaire. La comparaison expérimentale de ces trois approches montre la supériorité de l'adaptation par régression linéaire. Enfin, dans une dernière partie, nous développons d'une part une étude expérimentale sur l'utilisation de l'analyse discriminante linéaire pour mettre en u?vre un paramétrage du signal de parole robuste au bruit. Nous mettons en évidence que l'analyse discriminante permet d'obtenir un paramétrage adapté au bruit, mais peu robuste aux variations du rapport signal-à-bruit. D'autre part, nous prenons en compte les variations du rythme d'élocution provoquées par l'effet lombard, en utilisant une méthode d'adaptation des modèles de durée des phonèmes, sous le cadre général de l'apprentissage bayesien. Cette méthode, évaluée sur une tache de reconnaissance de mots isolés permet d'améliorer de façon significative les taux de reconnaissance.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|