Automatic identification of diatoms using deep learning to improve ecological diagnosis of aquatic environments
Identification automatique des diatomées par apprentissage profond pour l'amélioration du diagnostic écologique des milieux aquatiques
Résumé
Diatoms are a type of unicellular algae found in all aquatic environments. These organisms are very sensitive to changes in water quality and habitat conditions. This characteristic makes them useful for bioindication: In France, the Biological Diatom Index (BDI) has been used routinely since 2000 to assess the ecological quality of watercourses, within the framework of the European Water Framework Directive. Traditionally, assessing the ecological quality of water and ecosystem health through diatoms is a meticulous and time-consuming process. From natural samples, qualified experts in diatom taxonomy identify individuals to the species level based on optical microscope observations. However, this manual identification process is not without its challenges. Factors such as the quality of microscopy equipment, the level of expertise of experts, and the inherent subjectivity of human judgment all contribute to variability in the identification results. In this context, this work aims to reduce this variability by automating the diatom identification process. The first objective is the development of a tool to detect diatoms within microscope images, distinguishing them among a myriad of other objects present. The second objective is to classify the detected diatoms down to the species level, with a certain level of confidence. The main contribution of this research lies in the creation of an end-to-end pipeline for automating diatom identification, based on deep learning methods. Deep learning has demonstrated remarkable capabilities in tasks requiring complex pattern recognition and classification, which is ideally suited for automating the nuanced and complex process of diatom identification. By harnessing the power of deep neural networks, this pipeline streamlines and accelerates the identification process, providing a more efficient alternative to manual classification methods. However, the adoption of deep learning is not without its own challenges. A fundamental requirement is access to substantial and properly annotated datasets to effectively train these neural networks. To overcome this challenge, a method for generating synthetic datasets was proposed. By meticulously crafting artificial data while preserving the characteristics of real diatom images, this method helps supplement available training data and improves the neural network's ability to generalize its learning to new diatom samples. Another challenge arises from similarities between different diatom species (inter-specie similarity) and variations within a single species (intra-specie variability) during the automated classification process. This poses a considerable challenge to the accurate classification of diatoms. This work explores innovative strategies and techniques that account for these complexities, thereby improving the system's ability to discern subtle differences and make accurate classifications. Finally, a new method for quantifying uncertainty in deep classifiers is also developed, which contributes to improving the reliability of the classification process, in particular by making it possible to detect out-of-the-distribution images. To demonstrate the practicability of the developed tool, its application in biomonitoring is presented by calculating the IBD on a large number of representative samples from the Rhine-Meuse basin.
Les diatomées sont un type d'algues unicellulaires que l'on trouve dans tous les environnements aquatiques. Ces organismes sont très sensibles aux changements de la qualité de l'eau et des conditions de l'habitat. Cette caractéristique les rend utiles pour la bioindication : En France, l'Indice Biologique Diatomées (IBD) est utilisé en routine depuis 2000 pour évaluer la qualité écologique des cours d'eau, dans le cadre de la Directive-Cadre Européenne sur l'Eau. Traditionnellement, l'évaluation de la qualité écologique de l'eau et de la santé des écosystèmes à travers les diatomées est un processus minutieux et chronophage. A partir d'échantillons naturels, des experts qualifiés en taxonomie des diatomées identifient les individus au niveau de l'espèce à partir d'observation au microscope optique. Cependant, ce processus d'identification manuelle n'est pas exempt de défis. Des facteurs tels que la qualité de l'équipement de microscopie, le niveau d'expertise des experts et la subjectivité inhérente au jugement humain contribuent tous à une variabilité dans les résultats de l'identification. Dans ce contexte, ce travail a pour but de réduire cette variabilité par l'automatisation du processus d'identification des diatomées. Le premier objectif est le développement d'un outil pour détecter les diatomées dans les images de microscope, en les distinguant parmi une myriade d'autres objets présents. Le deuxième objectif est de classer les diatomées détectées jusqu'à l'espèce, avec un certain niveau de confiance. La principale contribution de cette recherche réside dans la création d'un pipeline complet pour automatiser l'identification des diatomées, basé sur des méthodes d'apprentissage profond. L'apprentissage profond a démontré des capacités remarquables dans les tâches nécessitant une reconnaissance et une classification de motifs complexes, ce qui est parfaitement adapté pour l'automatisation du processus nuancé et complexe de l'identification des diatomées. En exploitant la puissance des réseaux neuronaux profonds, ce pipeline rationalise et accélère le processus d'identification, offrant une alternative plus efficace aux méthodes de classification manuelle. Cependant, l'adoption de l'apprentissage profond n'est pas sans ses propres défis. Une exigence fondamentale est l'accès à des ensembles de données substantiels et correctement annotés pour entrainer efficacement ces réseaux neuronaux. Pour surmonter ce défi, une méthode de génération de jeux de données synthétiques a été proposée. En élaborant méticuleusement des données artificielles tout en préservant les caractéristiques des images réelles de diatomées, cette méthode permet de compléter les données d'entraînement disponibles et améliore la capacité du réseau neuronal à généraliser son apprentissage à de nouveaux échantillons de diatomées. Un autre défi découle des similitudes entre les différentes espèces de diatomées (similitudes inter-spécifiques) et des variations au sein d'une seule espèce (variabilité intra-spécifique) au cours du processus de classification automatisée. Cela pose un défi considérable à la classification précise des diatomées. Ce travail explore des stratégies et des techniques novatrices qui tiennent compte de ces complexités, améliorant ainsi la capacité du système à discerner de subtiles différences et à effectuer des classifications précises. Enfin, une nouvelle méthode pour quantifier l'incertitude dans les classifieurs profonds est également développée, ce qui contribue à améliorer la fiabilité du processus de classification, en particulier en permettant de détecter des images sortant de l'ordinaire. Pour démontrer la praticabilité de l'outil développé, son application en biomonitoring est présentée en calculant l'IBD sur un grand nombre d'échantillons représentatifs du bassin Rhin-Meuse.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|