Predictive analysis of learning data, in distance learning situations
Analyse prédictive des données d’apprentissage, en situation d’enseignement à distance
Résumé
Over the past few decades, the adoption of e-learning has evolved rapidly and its use has been pushedeven further with the COVID-19 pandemic. The objective of this learning mode is to guarantee the continuity of the learning process. However, the online learning is facing several challenges, and the most widespread is the high failure rates among learners. This issue is due to many reasons such asthe heterogeneity of the learners and the diversity of their learning behaviors, their total autonomy, the lack and/or the inefficiency of the pedagogical provided follow-up. Therefore, teachers need a system based on analytical and intelligent methods allowing them an accurate and early prediction of at-risk of failure learners. This solution is commonly adopted in the state of the art. However, the work carried out does not respond to some particularities of the learning process (the continuity and evolution of learning, the diversity of learners and their total autonomy) and to some teachers expectations such as the alert generation. This thesis belongs to the field of learning analytics and uses the numeric traces of online learnersto design a predictive system (Early Warning Systems (EWS)) dedicated to teachers in online establishments. The objective of this EWS is to identify learners at risk as soon as possible in order to alert teachers about them. In order to achieve this objective, we have dealt with several sub-problems which have allowed us to elaborate four scientific contributions. We start by proposing an in-depth methodology based on the Machine Learning (ML) steps and that allows the identification of four learning indicators among : performance, engagement, reactivity and regularity. This methodology also highlights the importance of temporal data for improving prediction performance. In addition, this methodology allowed to define the model with the best ability to identify at-risk learners. The 2nd contribution consists in proposing a temporal evaluation of the EWS using temporal metrics which measure the precocity of the predictions and the stability of the system. From these two metrics,we study the trade-offs that exist between ML precision metrics and temporal metrics. Online learners are characterized by the diversity of their learning behaviors. Thus, an EWS should respond to this diversity by ensuring an equitable functioning with the different learners profiles. We propose an evaluation methodology based on the identification of learner profiles and that uses a wide spectrum of temporal and precision metrics. By using an EWS, teachers expect an alert generation. For this reason, we design an algorithm which, based on the results of the prediction, the temporal metrics and the notion of alert rules, proposes an automatic method for alert generation. This algorithm targets mainly at-risk learners. The context of this thesis is the French National Center for Distance Education (CNED). In particular, we use the numeric traces of k-12 learners enrolled during the 2017-2018 and 2018-2019 school years.
Pendant les dernières décennies, l'adoption de l'apprentissage en ligne a rapidement évolué et son utilisation a été encore plus poussée avec la pandémie de la COVID-19. L'objectif de ce mode d'enseignement est de garantir la continuité du processus d'apprentissage. Cependant, ce mode d'apprentissage connaît plusieurs défis, dont le plus répandu est les taux élevés d'échec. Ce problème est dû à de nombreuses raisons comme l'hétérogénéité des apprenants et la diversité de leurs comportements d'apprentissage, leur totale autonomie, le manque et/ou l'inefficacité du suivi pédagogique fourni. Par conséquent, les enseignants ont besoin d'un système basée sur des méthodes analytiques et intelligentes leur permettant une prédiction précise et au plus tôt des apprenants à risque d'échec. Cette solution est communément adaptée dans l'état de l'art. Cependant, les travaux réalisés ne répondent pas à certaines particularités de l'apprentissage (la continuité et l'évolution de l'apprentissage, la diversité des apprenants et leur totale autonomie) et certaines attentes des enseignants comme la génération d'alerte. Cette thèse s'inscrit dans le domaine de l'analyse de l'apprentissage et exploite les traces numériques des apprenants en ligne pour concevoir un système prédictif (Early Warning Systems (EWS)) dédié aux enseignants des établissements en ligne. L'objectif de ce EWS est d'identifier au plus tôt les apprenants à risque pour alerter les enseignants de ces derniers. Afin d'atteindre cet objectif, nous avons traité plusieurs sous-problématiques qui ont permis l'élaboration de quatre contributions scientifiques. Nous commençons par proposer une méthodologie en profondeur qui repose sur les étapes de l'apprentissage automatique (ML) et qui permet l'identification de quatre indicateurs d'apprentissage parmi : la performance, l'engagement, la réactivité et la régularité. Cette méthodologie met aussi en valeur l'importance des données temporelles pour l'amélioration des performances de prédiction. De plus, cette méthodologie a permis de définir le modèle avec la meilleure capacité à identifier les apprenants à risque. La 2ème contribution consiste à proposer une évaluation temporelle des EWS à l'aide des métriques temporelles qui mesurent la précocité des prédictions et la stabilité des systèmes. À partir de ces deux métriques, nous étudions les compromis qui existent entre les métriques de précision de ML et les métriques temporelles. Les apprenants en ligne se caractérisent par la diversité de comportements d'apprentissage. Ainsi, un EWS doit répondre à cette diversité en assurant un fonctionnement équitable entre les différents profils d'apprenants. Nous proposons une méthodologie d'évaluation qui se base sur l'identification des profils d'apprenants et utilise un large spectre de métriques temporelles et de précision. En utilisant un EWS, les enseignants s'attendent à une génération d'alerte. C'est pour cette raison,nous concevons un algorithme qui s'appuie sur les résultats de prédiction, les métriques temporelles et la notion des règles d'alerte pour proposer une méthode automatique de génération d'alerte. Le contexte applicatif de cette thèse est le Centre National d'Enseignement à Distance (CNED). Nous exploitons les traces numériques d'une population de collégiens inscrits en classe 3ème pendant les années scolaires 2017-2018 et 2018-2019.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|