D’une manière générale, la réalité augmentée (AR ou RA) définit un mélange entre le réel et le virtuel. Des objets de synthèse sont insérés dans un décor réel, de la manière la plus réaliste possible.
Cette technique fut d’abord utilisée à des fins militaire dans les années 80, afin d’afficher des informations virtuelles sur la visière des pilotes de chasse. C’est plus tard, dans les années 90, que cette technologie connait un grand essor. Les travaux sont alors menés parallèlement dans divers cadres applicatifs comme la médecine, l’ingénierie et la production, l’architecture, le design et les loisirs.
L’applicatif BlackMagic Home Edition permet de réaliser chez soi des exemples simples de RA. Il suffit de posséder une webcam et d’imprimer les différents patterns qui permettent au programme de placer correctement l’objet virtuel. Le voilier s’intègre ainsi dans le décor réel filmé par la webcam. Il semble être posé sur la feuille.
Principes de la réalité augmentée
Lorsque l’on veut insérer un objet virtuel dans une séquence réelle, il est nécessaire d’incruster l’objet
avec le même point de vue que la caméra. Cependant, afin d’obtenir un rendu réaliste, il faut aussi prendre en compte
les éventuelles interactions entre la scène réelle et les objets virtuels ajoutés. Il faut ainsi gérer le problème
d’occultations, d’ombres et de réflexions.
– Méthodes de calcul du point de vue :
Dans le cas ou l’objet virtuel doit être incrusté sur un plan qui possède des points parfaitement reconnaissables
(comme dans l’exemple de BlackMagic Home Edition),
la détermination de la position, de l’orientation et de l’échelle peut se réaliser de façon assez simple.
En effet, la connaissance de 3 points sur l’image en 2D permet de construire un plan dans le repère 3D dans lequel s’incruste notre objet.
Les points connus de l’image 2D ont maintenant des coordonnées dans l’espace 3D par rapport auxquelles peut être positionné l’objet virtuel.
La taille de l’objet, la focale de la caméra (nécessaire pour reconstituer un effet de perspective) peuvent facilement se déduire des distances séparant les points connues de l’image 2D.
Le principe reste le même si l’on ne travaille pas avec des marqueurs facilement identifiables. Le point de vue doit alors être déterminé à partir de la position de points clés de l’image en 2D. On applique deux principaux procédés sur chaque nouvelle image à traiter :
- Les points clés de l’image précédente sont cherchés dans l’image courante et sont mis en relation. Sur l’image (d), les points clés ont été marqués en jaunes. On peut voir en bleu sur l’image (e), les plans de référence qui sont déterminés à partir des points clés.
- A partir de leurs mouvements, le point de vue est reconstruit. Ce procédé fait généralement intervenir la minimisation d’une fonction basée sur la géométrie épipolaire
L’objet peut enfin être inséré :
Un bon positionnement de l’objet virtuel dans la scène réelle est nécessaire si l’on veut obtenir un rendu cohérent. Cependant, cela n’est pas suffisant si un résultat plus réaliste est désiré.
– Gestion de l’occlusion :
Si un objet doit s’incruster derrière un objet réel, certaines parties ne doivent pas être affichées. Pour cela, on construit une représentation 3D des objets réels proches de l’objet virtuel. Cette opération s’effectue à l’aide de deux (ou plus) images 2D (procédé de reconstruction 3D stéréo). En comparant les coordonnées 3D des objets réels et des points de l’objet virtuel, on peut afficher seulement les parties visibles de celui-ci.
Certaines opérations comme la gestion de la luminosité, de l’ombrage ou des réflexions peuvent être ajoutées si le rendu nécessite encore plus de réalisme.
Il est certain que la complexité des techniques utilisées pour la RA dépend en grande partie de l’application à laquelle elle est dédiée.
La RA en pratique
L’incrustation d’objets virtuels dans une scène réelle s’applique déjà dans des domaines variés. Jusqu’à aujourd’hui cependant, les applications fonctionnelles ne mettent en oeuvre qu’une réalité virtuelle simple, dans laquelle peu ou pas d’interactions avec l’utilisateur sont permises.
– Dans le cadre de la diffusion d’évènements sportifs, la RA s’utilise afin d’incruster dans l’image des informations utiles aux téléspectateurs. Cette technique a pour la première fois été adoptée aux Etats-Unis lors de matchs de football américain. La façon dont est réalisée cette incrustation est bien décrite sur le site HowStuffWorks.
– La plus part du temps la RA sert aussi lors de ces évènements à rajouter de la publicité. Une fois le système mis en place, le changement de campagne peut s’effectuer uniquement par ordinateur, ce qui apporte une très grande souplesse lors de la diffusion télévisée.
– Dans le domaine médical, la RA a déjà permis la superposition des données d’imagerie ultrasons directement sur le corps du patient. Le médecin peut ainsi visualiser dans un même espace ses actions et leurs conséquences.
L’équipe Chir de l’INRIA Sophia-Antipolis travaille actuellement sur un projet qui permettra à l’avenir de faciliter l’exécution d’opérations chirurgicales. La brique RA du système a pour but d’incruster sur une image réelle (endoscopie) les organes inaccessibles avec cette technologie (en savoir plus...).
La RA démontre toute sa puissance lorsqu’elle est couplée avec une véritable IHM (Interface Hommes/Machine). Le développement de cette forme de RA est en cours et les récents projets ouvrent de nouvelles perspectives.
– L’interactivité possible entre l’utilisateur et les objets virtuels ont suscité l’intérêt des créateurs de jeux vidéos. Dans le jeu "Monkey bridge", les personnages se dirigent de façon autonome au dessus de l’eau sur des blocs réels ou virtuels. Le joueur ajoute à sa guise les objets virtuels qui vont empêcher le personnage de tomber à l’eau.
– Enfin, de gros efforts sont menés afin d’intégrer la réalité augmentée dans le cadre d’un travail collaboratif et multi-utilisateurs. iMAGIS est un projet joint entre CNRS,INRIA,INPG and UJF qui permet à plusieurs utilisateurs de partager un espace de travail commun.
Sur ce plateau, les utilisateurs peuvent ajouter, déplacer ou supprimer des objets virtuels. La souplesse procurée et l’apport de la troisième dimension peuvent s’avérer très utiles pour visualiser des travaux d’architecture, d’urbanisme, d’ingénierie ou encore dans un but ludique et/ou éducatif.
Conclusion
Par rapport à la réalité virtuelle (VR), dans laquelle l’utilisateur s’immerge totalement dans le virtuel, la réalité augmentée offre des possibilités nouvelles. L’interaction est possible aussi bien avec des objets réels que virtuels dans un même espace. Les limitations de cette technologie se situent surtout au niveau hardware puisque les affichages de type casques sont soumis à des problèmes d’alignement souvent difficiles à résoudre.
La tendance étant au pervasing computing, il est certain que la technologie RA ne va cesser d’être améliorer et de voir ses applications multipliées.
Références :
– Projet ISA, qui présente une technique de suivi de point de vue et de gestion d’occultations : http://www.loria.fr/equipes/isa/pages/augmentee.html
– artis, Projet iMAGIS, application à un travail collaboratif multi-utilisateurs : http://artis.imag.fr/Publications/2001/GG01/
– Vienna University of Technology, liste de différentes applications de la RA : http://www.ims.tuwien.ac.at/~bara
– VTHD, la RA au sein du projet Vraiment très haut débit (application médicale) : http://www.vthd.org/?wpid=5321
– HITLabNZ, concepteurs de l’application BlackMagic Home Edition qui permet de réaliser très facilement chez soi une simple réalité augmentée : http://www.hitlabnz.org/route.php?r=hitl-home
– Interstices, explication de la reconstruction 3D à partir d’images en 2D : http://interstices.info/display.jsp?id=c_9564&qs=id%3Djalios_5001
– artis,présentation de la RA, en particulier des problèmes d’alignements : http://artis.imag.fr/Publications/2001/GG01/
