DOCTORAL THESIS: Underwater Navigation and Mapping with an Omnidirectional Optical Sensor
By Josep Bosch Alay
Supervised by Dr. Nuno Gràcias / Dr. Pere Ridao
Abstract
Omnidirectional vision has received increasing interest during the last decade from the computer vision community. A large number of camera models have reached the market to meet the increasing demand for panoramic imagery. However, the use of omnidirectional cameras underwater is still very limited. In this thesis we propose a number of methods to create a reference resource for designing, calibrating and using underwater omnidirectional multi-camera systems.
The first problem we address is the design and calibration of omnidirectional cameras for the underwater domain. Among the different imaging system approaches to capturing omnidirectional imagery we chose the use of multi-cameras, due to the higher resolution and quality of the final images obtained. In order to assist the design and insure a proper view coverage, a field-of-view (FOV) simulator has been developed which takes into account the individual FOVs of the cameras, the position and orientation between them and the geometry and relative pose of the waterproof housing. The latter is especially relevant due to the strong image distortions caused by the refraction of the optical rays when travelling through the different media. Nonetheless, once the system is built, a very accurate calibration is required for any metrology or computer vision application. So, a full calibration method is presented for the estimation of both the intrinsic and extrinsic parameters of the cameras and the relative pose of the waterproof housing. This method is able to cope with wide-angle lenses and non-overlapping cameras simultaneously and applicable to both land or water Omnidirectional Multi-camera Systems (OMS).
Next, the topic of stitching strategies, to generate omnidirectional panoramas from the individual images, is studied in depth. Stitching strategies have the complex objective of joining the images in a way such that the viewer has the feeling the panoramas were captured from a single location. Conventional approaches either assume that the world is a simple sphere around the camera or use feature-based stitching techniques to align the individual images. However, this leads to artifacts and misalignments in the final panoramas due to parallax effects. This thesis presents a set of new stitching strategies, for both online and offline applications, aiming at processing the images according to available information of the multi-camera system and the environment.
Finally, we focus on potential underwater applications. We first explore the promising uses of omnidirectional cameras to create immersive virtual experiences. Then, we demonstrate the capabilities of omnidirectional cameras as complementary sensors for the navigation of underwater robots. Specifically, we present a new tracking system for autonomous underwater vehicles (AUVs) navigating in a close formation. The proposed system, which makes use of active light marker estimates the pose of a target vehicle at short ranges, with high accuracy and execution speed.
In order to validate all presented algorithms, two custom omnidirectional cameras were built and several experiments with divers and underwater robots have been carried out to collect the necessary data.
Resum
Durant l’última dècada s’ha despertat un interès creixent per a la visió omnidireccional en l’àmbit de la visió per computador. Podem trobar una gran varietat de càmeres omnidireccionals al mercat amb l’objectiu de cobrir l’actual demanda d’imatges i vídeos panoràmics. Tot i això, l’ús de càmeres omnidireccionals submarines encara és molt limitat. En aquesta tesi doctoral hem creat un recurs de referència per al disseny, calibratge i ús de càmeres omnidireccionals submarines de tipus multi-càmera.
El primer problema que tractem és el disseny i el calibratge de càmeres omnidireccionals per al medi submarí. D’entre els diferents sistemes capaços de capturar imatges omnidireccionals, hem escollit els sistemes multi-càmera per l’alta resolució i qualitat de les imatges obtingudes. Hem dissenyat un simulador de camp de visió per tal d’ajudar en el disseny de sistemes multi-càmera i assegurar que són capaços de cobrir el camp de visió desitjat. Aquest simulador té en compte les característiques individuals de les càmeres, la posició i orientació entre elles i la posició relativa amb la carcassa submarina. És especialment rellevant tenir en compte aquesta última degut als importants canvis de direcció dels rajos de llum quan travessen diferents medis. Una vegada el sistema ha estat dissenyat i construït, és necessari un calibratge molt precís per utilitzar-lo en qualsevol aplicació de metrologia o de visió per computador. Per a resoldre aquest problema, presentem un sistema complet de calibratge que estima els paràmetres intrínsecs i extrínsecs de les càmeres, així com la posició relativa de la carcassa. Aquest mètode és capaç de tractar amb lents de tipus ull-de-peix o gran angular així com sistemes de càmeres sense solapament i és aplicable tant a càmeres submarines com terrestres.
Després ens centrem en l’estudi en profunditat de les estratègies de combinació d’imatges per tal de generar imatges panoràmiques partint de múltiples imatges capturades per diferents càmeres. Aquestes estratègies tenen com a objectiu la complexa tasca de crear una imatge panoràmica tal que l’observador tingui la sensació que la imatge ha sigut creada des d’un únic punt de vista. Les estratègies convencionals parteixen de l’assumpció que el món pot ser simplificat com una esfera centrada en el sistema de càmeres o fan servir tècniques de combinació basades en punts d’especial interès per tal d’alinear correctament les imatges. Malauradament, aquestes estratègies resulten en panoràmiques finals amb alineaments dolents entre imatges i defectes visuals degut als efectes de parallax. Aquesta tesi presenta un conjunt d’estratègies noves per a ús en temps real o post-processat amb l’objectiu de millorar les panoràmiques finals fent ús de la informació disponible de l’entorn i del sistema multi-càmera.
Finalment, ens centrem en les aplicacions potencials de les càmeres omnidireccionals submarines. Primer, explorem els prometedors usos de les càmeres per tal de crear experiències virtuals immersives. Després, demostrem les capacitats de les càmeres omnidireccionals com a sensors complementaris per a la navegació de robots. Concretament, presentem un sistema de seguiment de robots submarins autònoms (AUVs) que naveguin en formacions de distàncies curtes. El sistema proposat fa ús de marcadors de llum actius per tal d’estimar la posició relativa del vehicle amb una alta precisió i velocitat d’execució.
Per tal de validar tots els algoritmes presentats s’han dissenyat dues càmeres omnidireccionals i s’han realitzat múltiples experiments amb robots i submarinistes per a recollir les dades necessàries.
[/vc_column_text][/vc_column][/vc_row]