Learning-based vanishing point detection and its application to large-baseline image registration - Université de Lorraine
Thèse Année : 2024

Learning-based vanishing point detection and its application to large-baseline image registration

Détection de points de fuite par apprentissage et son application au recalage d'images à large base

Résumé

This thesis examines the detection of vanishing points and the horizon line and their application to visual localization tasks in urban environments. Visual localization is a fundamental problem in computer vision that aims to determine the position and orientation of a camera in an environment based solely on visual information. In urban and manufactured environments, vanishing points are important visual landmarks that provide crucial information about the scene's structure, making their detection important for reconstruction and localization tasks. The thesis proposes new deep learning methods to overcome the limitations of existing approaches to vanishing point detection. The first key contribution introduces a novel approach for HL and VP detection. Unlike most existing methods, this method directly infers both the HL and an unlimited number of horizontal VPs, even those extending beyond the image frame. The second key contribution of this thesis is a structure-enhanced VP detector. This method utilizes a multi-task learning framework to estimate multiple horizontal VPs from a single image. It goes beyond simple VP detection by generating masks that identify vertical planar structures corresponding to each VP, providing valuable scene layout information. Unlike existing methods, this approach leverages contextual information and scene structures for accurate estimation without relying on detected lines. Experimental results demonstrate that this method outperforms traditional line-based methods and modern deep learning-based methods. The thesis then explores the use of vanishing points for image matching and registration, particularly in cases where images are captured from vastly different viewpoints. Despite continuous progress in feature extractors and descriptors, these methods often fail in the presence of significant scale or viewpoint variations. The proposed methods address this challenge by incorporating vanishing points and scene structures. One major challenge in using vanishing points for registration is establishing reliable correspondences, especially in large-scale scenarios. This work addresses this challenge by proposing a vanishing point detection method aided by the detection of masks of vertical scene structures corresponding to these vanishing points. To our knowledge, this is the first implementation of a method for vanishing point matching that exploits image content rather than just detected segments. This vanishing point correspondence facilitates the estimation of the camera's relative rotation, particularly in large-scale scenarios. Additionally, incorporating information from scene structures enables more reliable keypoint correspondence within these structures. Consequently, the method facilitates the estimation of relative translation, which is itself constrained by the rotation derived from the vanishing points. The quality of rotation can sometimes be impacted by the imprecision of detected vanishing points. Therefore, we propose a vanishing point-guided image matching method that is much less sensitive to the accuracy of vanishing point detection.
Cette thèse étudie la détection des points de fuite et de la ligne d'horizon ainsi que leur application à des tâches de localisation visuelle en environnement urbain. La localisation visuelle est un problème fondamental de vision par ordinateur qui vise à déterminer la position et l'orientation d'une caméra dans un environnement en se basant uniquement sur des informations visuelles. En environnements urbains et manufacturés, les points de fuite sont des repères visuels qui apportent des informations importantes sur la structure de la scène et leur détection est donc importante pour les tâches de reconstruction et de localisation. La thèse propose de nouvelles méthodes d'apprentissage profond pour surmonter les limites des approches existantes de détection de points de fuite. La première contribution clé introduit une nouvelle approche pour la détection de lignes d'horizon et de points de fuite. Contrairement à la plupart des méthodes existantes, cette méthode infère simultanément la ligne d'horizon et un nombre illimité de points de fuite horizontaux, même ceux s'étendant au-delà du cadre de l'image. La deuxième contribution clé de cette thèse est un détecteur de points de fuite amélioré par les structures de la scène. Cette méthode utilise un cadre d'apprentissage multitâche pour estimer plusieurs points de fuite horizontaux et générer les masques des structures planaires verticales correspondants à chaque point de fuite. Notre méthode fournit ainsi des informations essentielles sur la configuration de la scène. Contrairement aux méthodes existantes, cette approche exploite les informations contextuelles et les structures de la scène pour une estimation précise sans s'appuyer sur les lignes détectées. Les résultats expérimentaux démontrent que cette méthode surpasse les méthodes traditionnelles basées sur les lignes et les méthodes modernes basées sur l'apprentissage profond. La thèse explore ensuite l'utilisation des points de fuite pour la mise en correspondance et le recalage d'images, en particulier dans le cas où les images sont prises depuis des points de vue très différents. Malgré les progrès continus sur les extracteurs et les descripteurs d'indices, ces méthodes sont souvent inopérantes en présence de fortes variations d'échelle ou de points de vue. Les méthodes proposées relèvent ce défi en incorporant les points de fuite et les structures de la scène. L'un des défis majeurs liés à l'utilisation des points de fuite pour le recalage consiste à établir des correspondances fiables, en particulier dans des scénarios à large base. Ce travail relève ce défi en proposant une méthode de détection de points de fuite aidée par la détection des masques de structures verticales de scène correspondant à ces points de fuite. À notre connaissance, il s'agit de la première implémentation d'une méthode pour la mise en correspondance des points de fuite qui exploite le contenu de l'image et non seulement les segments détectés. Cette correspondance de points de fuite facilite l'estimation de la rotation relative de la caméra, en particulier dans les scénarios à large base. De plus, l'incorporation d'informations des structures de la scène permet une correspondance plus fiable des points clés au sein de ces structures. Par conséquent, la méthode facilite l'estimation de la translation relative, qui est contrainte elle-même par la rotation dérivée des points de fuite. La qualité de la rotation peut cependant parfois être impactée par l'imprécision des points de fuite détectés. Nous proposons donc une méthode de mise en correspondance d'image guidée par les points de fuite, qui est beaucoup moins sensible à la précision de détection des points de fuite.
Fichier principal
Vignette du fichier
DDOC_T_2024_0084_ELASSAM.pdf (55.04 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-04746544 , version 1 (21-10-2024)

Identifiants

  • HAL Id : tel-04746544 , version 1

Citer

Abdelkarim Elassam. Learning-based vanishing point detection and its application to large-baseline image registration. Computer Science [cs]. Université de Lorraine, 2024. English. ⟨NNT : 2024LORR0084⟩. ⟨tel-04746544⟩
0 Consultations
0 Téléchargements

Partager

More