Reasoning over Data : Analogy-based and Transfer Learning to improve Machine Learning
Raisonnement sur les données : Apprentissage par analogie et transfert pour améliorer l'apprentissage automatique
Résumé
Recent years have seen a renewed interest in the potential of analogy detection and analogical inference, with successful applications in Machine Learning (ML) to the retrieval and generation of images, of text, and structured data such as knowledge graphs, but also the detection of relations between and within images, texts, and structured data. While some of those works are based on an intuitive understanding of analogy, significant effort has been made since the antiquity to define analogies as accurately as possible. Analogies are a key component of human cognition, and can be viewed as an abstraction mechanism that identifies similarities and differences between different situations, and as a reasoning tool to adapt known solutions to new situation. When reasoning by analogy, the goal is to adapt the solution of a known or source problem, which is sufficiently similar to the actual or target problem. This process involves a transfer between the context of the source problem (the problem and its solution) and the context of the target problem. In the past 50 years, different aspects of the notion of Analogical Proportions (APs) have been explored. An AP is typically composed of four elements, written A:B::C:D when the ratio between A and B is conform with the one between C and D, and this formal tool has been declined to cover numerous different interpretations of what an analogy can be, with any number of elements. In our work, we explore different methods to tackle the detection of APs and solving of analogical equations on different domains, using Deep Learning (DL). In particular, we study word morphology and Target Sense Disambiguation for words in context, two domains for which our model outperform the State of the Art (SotA), as well as in frame semantics, where we obtain encouraging results. We also study CoAT, a Case-Based Reasoning (CBR) system based on analogical transfer. With CoAT, we encounter significant success in the measure of case competence and in the task of case base compression.
Ces dernières années ont été marquées par un regain d'intérêt pour le potentiel de l'inférence analogique et de la détection des analogies, avec des applications fructueuses dans l'apprentissage automatique pour la découverte et la génération d'images, de textes et de données structurées telles que les graphes de connaissances, ou encore la détection des relations entre et au sein d'images, de textes, ou de données structurées. Si certains de ces travaux reposent sur une compréhension intuitive de l'analogie, des efforts considérables ont été déployés depuis l'Antiquité pour définir les analogies de la manière la plus précise possible. Les analogies sont un élément clé de la cognition humaine et peuvent être considérées comme un mécanisme d'abstraction qui identifie les similitudes et les différences entre différentes situations, et comme un outil de raisonnement permettant d'adapter des solutions connues à de nouvelles situations. Lorsque l'on raisonne par analogie, l'objectif est d'adapter la solution d'un problème connu ou source, qui est suffisamment similaire au problème réel ou cible. Ce processus implique un transfert entre le contexte du problème source (le problème et sa solution) et le contexte du problème cible. Au cours des 50 dernières années, différents aspects de la notion de proportions analogiques (PAs) ont été explorés. Une PA est généralement composée de quatre éléments, écrits A:B::C:D lorsque le rapport entre A et B est conforme à celui entre C et D. Cet outil formel a été décliné pour couvrir de nombreuses interprétations différentes de ce qu'une analogie peut être, avec n'importe quel nombre d'éléments. Dans notre travail, nous explorons différentes méthodes pour aborder la détection des PAs et la résolution d'équations analogiques dans différents domaines, en utilisant l'apprentissage profond. En particulier, nous étudions la morphologie des mots et la désambiguïsation du sens cible pour les mots en contexte, deux domaines pour lesquels notre modèle est plus performant que l'état de l'art, ainsi que la sémantique des cadres, pour laquelle nous obtenons des résultats encourageants. Nous étudions également CoAT, un système de raisonnement à partir de cas (CBR) basé sur le transfert analogique. Avec CoAT, nous obtenons des succès significatifs dans la mesure de la compétence des cas et dans la tâche de compression de la base de cas.
Origine | Fichiers produits par l'(les) auteur(s) |
---|