Cette thèse étudie la détection des points de fuite et de la ligne d'horizon ainsi que leur application à des tâches de localisation visuelle en environnement urbain. La localisation visuelle est un problème fondamental de vision par ordinateur qui vise à déterminer la position et l'orientation d'une caméra dans un environnement en se basant uniquement sur des informations visuelles. En environnements urbains et manufacturés, les points de fuite sont des repères visuels qui apportent des informations importantes sur la structure de la scène et leur détection est donc importante pour les tâches de reconstruction et de localisation. La thèse propose de nouvelles méthodes d'apprentissage profond pour surmonter les limites des approches existantes de détection de points de fuite. La première contribution clé introduit une nouvelle approche pour la détection de lignes d'horizon et de points de fuite. Contrairement à la plupart des méthodes existantes, cette méthode infère simultanément la ligne d'horizon et un nombre illimité de points de fuite horizontaux, même ceux s'étendant au-delà du cadre de l'image. La deuxième contribution clé de cette thèse est un détecteur de points de fuite amélioré par les structures de la scène. Cette méthode utilise un cadre d'apprentissage multitâche pour estimer plusieurs points de fuite horizontaux et générer les masques des structures planaires verticales correspondants à chaque point de fuite. Notre méthode fournit ainsi des informations essentielles sur la configuration de la scène. Contrairement aux méthodes existantes, cette approche exploite les informations contextuelles et les structures de la scène pour une estimation précise sans s'appuyer sur les lignes détectées. Les résultats expérimentaux démontrent que cette méthode surpasse les méthodes traditionnelles basées sur les lignes et les méthodes modernes basées sur l'apprentissage profond. La thèse explore ensuite l'utilisation des points de fuite pour la mise en correspondance et le recalage d'images, en particulier dans le cas où les images sont prises depuis des points de vue très différents. Malgré les progrès continus sur les extracteurs et les descripteurs d'indices, ces méthodes sont souvent inopérantes en présence de fortes variations d'échelle ou de points de vue. Les méthodes proposées relèvent ce défi en incorporant les points de fuite et les structures de la scène. L'un des défis majeurs liés à l'utilisation des points de fuite pour le recalage consiste à établir des correspondances fiables, en particulier dans des scénarios à large base. Ce travail relève ce défi en proposant une méthode de détection de points de fuite aidée par la détection des masques de structures verticales de scène correspondant à ces points de fuite. À notre connaissance, il s'agit de la première implémentation d'une méthode pour la mise en correspondance des points de fuite qui exploite le contenu de l'image et non seulement les segments détectés. Cette correspondance de points de fuite facilite l'estimation de la rotation relative de la caméra, en particulier dans les scénarios à large base. De plus, l'incorporation d'informations des structures de la scène permet une correspondance plus fiable des points clés au sein de ces structures. Par conséquent, la méthode facilite l'estimation de la translation relative, qui est contrainte elle-même par la rotation dérivée des points de fuite. La qualité de la rotation peut cependant parfois être impactée par l'imprécision des points de fuite détectés. Nous proposons donc une méthode de mise en correspondance d'image guidée par les points de fuite, qui est beaucoup moins sensible à la précision de détection des points de fuite.