Weakly Supervised Deep Learning for Natural Language Processing
Apprentissage profond sans supervision directe pour le traitement automatique des langues
Résumé
The depth of neural networks is no longer the most important aspect of deep learning systems nowadays. Rather, it is the possibility to build more and more abstract and complex functions that are implemented as parametric differentiable computer programs. The main issue is having access to sufficient annotated data to train this function, which becomes critical. Therefore, nowadays, the standard distinction between supervised and unsupervised training is becoming more and more blurry, as any existing annotated corpus is inevitably too small and static to accurately represent up-to-date information. Another emerging problem is the scaling of the model sizes used to attain State Of The Art performances. For example, in Natural Language Processing, supermodels are pre-trained, then adapted to specific tasks (Bert, XLM-R, or more recently, PaLM and GPT-4). The generic representations learned by these models are then adapted to specific tasks using adequate few-shot learning methods. Some recent methods reduce the sizes of the trained models post-training phase while achieving the same performances, in order to obtain smaller, energy-efficient machine learning models usable on devices with limited computational performances (see pruning methods and distillation methods). On the other hand, growing a small network both wider and deeper also allows to learn accurate and relatively small networks, achieving state-of-the-art performances. In this thesis, we focus more specifically on the second type of approaches. We work on models able to progressively augment the size of the neural network's memory to handle an increasing quantity of observed data and observe the difference with full models trained from scratch, focusing on understanding why the incremental growth leads to comparable performances with fewer parameters. We also work on novel unsupervised or weakly-supervised loss functions that enable the training of generative models that address the lack of genericity of most current embedding methods. We propose a simple growth model that gradually adds new parameters during learning to study the behavior of these dynamic networks. More specifically, we compare the aspects of the cost function surfaces of standard and growing networks to explain the performances of the latter. To study them in more detail, we also develop an approximation of the theoretical risk that can be used both as a measure of generalization and as an unsupervised cost function.
La profondeur des réseaux de neurones n'est plus l'aspect le plus important des systèmes d'apprentissage en profondeur de nos jours. Il s'agit plutôt de la possibilité de construire des fonctions de plus en plus abstraites et complexes implémentées sous forme de programmes informatiques paramétriques différentiables. La principale question concerne l'accès à des données annotées suffisantes pour entraîner cette fonction, ce qui devient critique. Par conséquent, de nos jours, la distinction standard entre l'apprentissage supervisé et non supervisé devient de plus en plus floue, car tout corpus annoté existant est inévitablement trop petit et statique pour représenter avec précision les informations les plus récentes. Un autre problème émergent est l'échelle des tailles de modèle utilisées pour atteindre des performances de pointe. Par exemple, en traitement du langage naturel, des super-modèles sont pré-entraînés, puis affinés pour des tâches spécifiques (Bert, XLM-R ou plus récemment PaLM et GPT-4). Les représentations génériques apprises par ces modèles sont ensuite adaptées aux tâches spécifiques à l'aide de méthodes d'apprentissage à quelques exemples adéquates. Certaines méthodes récentes réduisent les tailles des modèles entraînés après la phase d'entraînement tout en obtenant les mêmes performances, afin d'obtenir des modèles d'apprentissage automatique plus petits et éco-énergétiques utilisables sur des dispositifs à performances de calcul limitées (voir les méthodes d'élagage de réseau et de distillation). D'autre part, faire croître un petit réseau à la fois en largeur et en profondeur permet également d'apprendre des réseaux précis et relativement petits, atteignant des performances de pointe. Dans cette thèse, nous nous concentrons plus particulièrement sur le deuxième type d'approches. Nous travaillons sur des modèles capables d'augmenter progressivement la taille de la mémoire du réseau neuronal pour traiter une quantité croissante de données observées et observer la différence avec des modèles complets entraînés à partir de zéro, en mettant l'accent sur la compréhension des raisons pour lesquelles la croissance progressive conduit à des performances comparables avec moins de paramètres. Nous travaillons également sur de nouvelles fonctions de perte non supervisées ou faiblement supervisées qui permettent de former des modèles génératifs qui résolvent le manque de généralité de la plupart des méthodes d'incorporation actuelles. Nous proposons ainsi un modèle simple de grossissement permettant d'ajouter progressivement des nouveaux paramètres au cours de l'apprentissage afin d'étudier les comportements propres à ces réseaux dynamiques. Plus précisément, nous comparons les aspects des surfaces des fonctions de coût des réseaux standards et grossissants afin d'expliquer les performances de ces derniers. Pour les étudier plus en détails, nous développons également une approximation du risque théorique qui peut être utilisée à la fois comme une mesure de généralisation et comme une fonction de coût non supervisée.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|