Blog

Vehicle operations in underwater environments are frequently compromised by poor visibility conditions. The perception range of optical devices is heavily constrained in turbid waters, thus often complicating navigation and mapping tasks in environments such as harbors, bays, or rivers. A new generation of high-frequency forward-looking sonars that provide acoustic imagery at near-video frame rates have recently emerged as a promising alternative for working under these challenging conditions.

In this thesis, we propose an end-to-end mosaicing framework tailored to the characteristics of forward-looking sonar imagery in order to build consistent overviews of planar underwater areas regardless of water visibility. Our solution targets versatility: it enables the generation of acoustic mosaics that involve roto-translational motions and comprise different vehicle tracklines; it is suitable for a wide range of scenarios, from feature-rich areas to environments with scarcity of features; it can be applicable on data collected with minimally instrumented vehicles; and it allows both offl­ine and real-time operation.

The first problem to address is the pairwise registration of sonar images which is a key step in the mosaicing pipeline. The characteristics of the forward-looking sonar data, such as low and inhomogeneous resolution, low signal-to-noise ratio and intensity variations due to viewpoint changes, become a challenge for traditional feature-based registration techniques. For that reason we propose a Fourier-based methodology that, by involving all image content into the registration, offers robustness to noise and the different artifacts associated with the acoustic image formation. The approach relies on the phase correlation principle to estimate the image shifts and it is further adapted to cope with the multiple noise sources that can influence the registration, by providing specific masking, frequency filtering and rotation estimation procedures. When quantitatively compared, the proposed registration method shows superior performance to state-of-the-art feature-based approaches, while offering at the same time the possibility to be implemented efficiently.

Next, we address the global alignment of the mosaic in order to enforce consistency between consecutive and non-consecutive image pairs. We lay out the problem as a graph optimization over the image poses, integrating spatial constraints from pairwise registrations as well as from navigation data when available. We provide a front-end to determine the constraints that should be included in the graph according to an initial estimation of the trajectory and a selection of potential overlapping candidate pairs. The work‑flow followed to build the graph is provided for both offl­ine mosaicing and the online approach, where constraints are added incrementally and under stringent restrictions to warrant real-time operation. In addition, we propose an uncertainty measure derived from the registration method to weigh appropriately the contribution of the registration constraints in the optimization.

Finally, we explore the blending of the acoustic images into a smooth and informative mosaic while improving the signal-to-noise ratio and resolution of the final composition with respect to the individual frames. Furthermore, we identify the different photometric irregularities that can arise from the sonar imaging configuration and provide a set of strategies to minimize their impact both at frame and mosaic level.

To validate the full proposed pipeline, an extensive experimental section is reported showing successful results in relevant field applications such as ship-hull inspection, harbor mapping and archaeological exploration.

__________________________________

Freqüentment, les operacions amb vehicles en entorns submarins estan condicionades a la visibilitat de l’aigua. El rang de percepció dels sensors òptics és molt limitat en aigües tèrboles i sovint fa complicades les tasques de navegació i mapeig en entorns com ara ports, badies o rius. Recentment han aparegut al mercat una nova generació de sonars de visió frontal, d’alta freqüència i amb la capacitat de generar imatges acústiques a un alt ritme de refresc, convertint-se així en una alternativa prometedora per a operar en aquestes difícils condicions.

En aquesta tesi, proposem un sistema complet per a la construcció de mapes subaquàtics adaptat a les característiques d’aquest tipus de sonars, per tal de construir mosaics d’imatges acústiques independentment de la visibilitat de l’aigua. La solució proposada té la versatilitat com a eix central: permet la generació de mosaics acústics que involucren moviments roto-translacionals i múltiples transectes, és adequada per un ampli ventall d’escenaris, des d’àrees amb alta presència de punts d’interès fins a entorns mancats de característiques significants, és aplicable a dades adquirides des de vehicles equipats amb poca instrumentació i permet la generació de mosaics tant en mode post-processat com en temps real.

El primer problema que s’adreça és el registre d’imatges sonar, que és un pas clau en el sistema de construcció de mosaics. Les característiques de les imatges dels sonars de visió frontal, com ara la baixa resolució, la baixa relació senyal-soroll, o les variacions d’intensitat a causa dels canvis de punt de vista, causen moltes complicacions a les tècniques que típicament s’utilitzen per registrar imatges òptiques. Per aquesta raó proposem un mètode basat en el domini freqüencial, el qual té en compte tot el contingut de les imatges en el procés de registre aconseguint així més robustesa davant del soroll i dels diferents artefactes associats amb la formació de la imatge acústica. El mètode es basa en el principi de la correlació de fase per computar els desplaçaments de la imatge i s’ha adaptat per fer front a les múltiples fonts de soroll que poden influenciar el registre proporcionant procediments específics d’emmascarament, filtratge freqüencial i estimació de la rotació. Comparacions quantitatives demostren que el mètode proposat té un rendiment superior a altres tècniques de registre de l’estat de l’art basades en punts d’interès i ofereix, al mateix temps, la possibilitat de ser implementat eficientment.

A continuació s’ha adreçat l’alineament global del mosaic per tal d’imposar consistència entre parelles d’imatges consecutives i no consecutives. S’ha plantejat el problema com la optimització d’un graf on els nodes són les posicions de les imatges i les restriccions espacials entre ells provenen del registre de les diferents parelles o de les dades de navegació, en cas de disposar d’aquestes. Detallem l’estratègia a seguir per determinar quines restriccions s’han d’incorporar al graf d’acord amb una estimació inicial de la trajectòria del vehicle i una selecció de les parelles d’imatges que poden tenir solapament. El procediment per a la construcció del graf es descriu tant per l’elaboració de mosaics offl­ine com online. En aquest darrer cas, les restriccions s’afegeixen incrementalment i sota estrictes límits per garantir l’execució en temps real. A més a més, proposem una mesura d’incertesa derivada del mètode de registre per tal de donar el pes adequat a cada restricció dins de la optimització.

Finalment, s’explora la fusió de les imatges acústiques en un únic mosaic d’aparença nítida i informativa, aconseguint al mateix temps una relació senyal-soroll i una resolució millorades respecte les de les imatges individuals. També s’identifiquen les diferents irregularitats fotomètriques que poden sorgir degut a la configuració i col·locació del sonar en l’entorn i es proporcionen un seguit d’estratègies per minimitzar el seu impacte tant a nivell d’imatge com a nivell de mosaic.

Per tal d’avaluar la totalitat del marc de treball proposat, es presenta una extensiva secció experimental demostrant resultats satisfactoris en aplicacions rellevants com ara inspecció de cascos de vaixells, mapeig de ports o exploracions arqueològiques.