Biomedical Event Extraction Based on Transformers and Knowledge Graphs - Université de Lorraine Accéder directement au contenu
Thèse Année : 2023

Biomedical Event Extraction Based on Transformers and Knowledge Graphs

Extraction d'événements biomédicaux basée sur des transformers et des graphes de connaissances

Résumé

Biomedical event extraction can be divided into three main subtasks; (1) biomedical event trigger detection, (2) biomedical argument identification and (3) event construction. In this work, for the first subtask, we analyze a set of transformer language models that are commonly used in the biomedical domain to evaluate and compare their capacity for event trigger detection. We fine-tune the models using seven manually annotated corpora to assess their performance in different biomedical subdomains. SciBERT emerged as the highest-performing model, presenting a slight improvement compared to baseline models. For the second subtask, we construct a knowledge graph (KG) from the biomedical corpora and integrate its KG embeddings to SciBERT to enrich its semantic information. We demonstrate that adding the KG embeddings to the model improves the argument identification performance by around 20 %, and by around 15 % compared to two baseline models. For the third subtask, we use the generative model, ChatGPT, based on prompts to construct the final set of extracted events. Our results suggest that fine-tuning a transformer model that is pre-trained from scratch with biomedical and general data allows to detect event triggers and identify arguments covering different biomedical subdomains, and therefore improving its generalization. Furthermore, the integration of KG embeddings into the model can significantly improve the performance of biomedical event argument identification, outperforming the results of baseline models.
L'extraction d'événements biomédicaux peut être divisée en trois sous-tâches principales : (1) la détection de déclencheurs d'événements biomédicaux, (2) l'identification d'arguments biomédicaux et (3) la construction d'événements. Dans cette étude, pour la première sous-tâche, nous analysons un ensemble de modèles de langage transformer couramment utilisés dans le domaine biomédical afin d'évaluer et de comparer leur capacité à détecter les déclencheurs d'événements. Nous affinons les modèles en utilisant sept corpus annotés manuellement pour évaluer leurs performances dans différents sous-domaines biomédicaux. SciBERT s'est révélé être le modèle le plus performant, présentant une légère amélioration par rapport aux modèles de référence. Pour la deuxième sous-tâche, nous construisons un graphe de connaissances (KG, en anglais) à partir des corpus biomédicaux et intégrons ses embeddings KG à SciBERT pour enrichir son information sémantique. Nous démontrons que l'ajout des embeddings KG au modèle améliore la performance de l'identification d'arguments d'environ 20 %, et d'environ 15 % par rapport à deux modèles de référence. Pour la troisième sous-tâche, nous utilisons le modèle génératif, ChatGPT, basé sur des invitations, pour construire l'ensemble final d'événements extraits. Nos résultats suggèrent que l'affinage d'un modèle transformateur pré-entraîné à partir de zéro avec des données biomédicales et générales permet de détecter les déclencheurs d'événements et d'identifier des arguments couvrant différents sous-domaines biomédicaux, améliorant ainsi sa généralisation. De plus, l'intégration des embeddings KG dans le modèle peut significativement améliorer la performance de l'identification d'arguments d'événements biomédicaux, surpassant les résultats des modèles de référence.
Fichier principal
Vignette du fichier
DDOC_T_2023_0235_ZANELLA_CALZADA.pdf (20.1 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-04516694 , version 1 (22-03-2024)

Identifiants

  • HAL Id : tel-04516694 , version 1

Citer

Laura A. Zanella Calzada. Biomedical Event Extraction Based on Transformers and Knowledge Graphs. Computer Science [cs]. Université de Lorraine, 2023. English. ⟨NNT : 2023LORR0235⟩. ⟨tel-04516694⟩
1 Consultations
0 Téléchargements

Partager

Gmail Facebook X LinkedIn More