Réalité sonore augmentée, un état des lieux

La réalité augmentée, sous-entendu la réalité visuelle augmentée, est aujourd’hui un terrain largement exploré et balisé, des Googleglass aux applications smartphones en passant par les jeux vidéos tels que PokémonGo. Elle consiste à superposer à des images issues de la réalité des éléments supplémentaires (textes, vidéos, informations, etc.).

En revanche, en ce qui concerne le son ou la musique, les recherches et projets autour d’une réalité sonore augmentée sont beaucoup plus rares. En effet, le terme de réalité sonore augmentée correspond à plusieurs technologies ou usages différents : cette page tente de dresser un état des lieux du concept.


1. Donner un environnement sonore aux expériences de réalités virtuelles ou de réalité augmentée.

Dans ce cas, le son ou la musique sont traités comme des compléments à la réalité virtuelle visuelle. La plupart du temps, le dispositif doit alors s’attacher à recréer un environnement sonore réaliste : le son du ruisseau doit être corrélé à sa position dans l’espace en trois dimensions, les mouvements de la tête doivent produire la même sensation sonore que dans la réalité, etc.

Ainsi, Framestore VR Studio propose une randonnée en réalité virtuelle dont l’environnement sonore correspond à la réalité recréée de l’excursion en montagne.

2. Enrichir d’informations sonores le monde réel

Sur le modèle de la réalité augmentée visuelle, il s’agit d’enrichir un environnement sonore déjà présent avec des informations pertinentes pour l’auditeur. Il s’agit par exemple de donner au promeneur des informations touristiques sur le lieu où il se trouve (tel Imayana à Bordeaux), ou sur les commerces à proximité.

Un point clé de ce dispositif consiste à capter la position de la tête de l’auditeur afin que le contenu sonore puisse être adapté à ce que l’utilisateur regarde. Vue et ouïe doivent dans ce cas être synchronisées. Différentes solutions techniques existent, telles que le casque à détection de position Intelligent headset.

3. Réalité sonore augmentée et expérience artistique

La réalité sonore augmentée ouvre également de nombreuses voies aux expériences artistiques. C’est notamment le cas avec notre projet TopoSonic, qui donne à l’utilisateur de smartphone muni d’un casque audio la possibilité de se déplacer dans une œuvre musicale et poétique. Ses changements de position dans le monde réel influent sur le déroulement du contenu sonore, en donnant à entendre une réalité qui vient se superposer celle habituelle du lieu. D’autres dispositifs permettent d’enrichir la diffusion muséographique au moyen de contenus sonores adaptés à la localisation du visiteur, tels que celui du musée Allard à Montbrison.

Il ne s’agit plus comme précédemment de recréer un univers sonore réaliste, mais de se servir des données de localisation de l’auditeur afin de pouvoir influer d’une manière plus originale sur le contenu sonore.

4. Réalité sonore augmentée et aide aux déficients visuels

Dernier point rendu possible par la réalité sonore augmentée : l’aide aux aveugles et déficients visuels. Un prototype testé au musée des Arts et Métiers de Paris permet de procurer aux visiteurs malvoyants un sentiment d’immersion avec des sons émanant virtuellement des œuvres exposées. Un autre projet mené à Grenoble permet de guider les malvoyants lors de leur parcours en transport en commun.


5. Conclusion

Si la réalité sonore augmentée est riche de possibilités, c’est néanmoins en prenant ses distances avec la réalité visuelle que les expériences les plus originales semblent émerger. Ouïe et vue obéissent en effet à des contraintes différentes, en terme de matériel mais également en terme de comportement. Ainsi, au contraire de la vue, monopoliser l’ouïe ne gêne pas le repérage et le déplacement dans l’espace réel. À l’inverse, s’équiper d’un casque conduit à s’isoler et à couper se d’une communication avec les personnes alentours, alors qu’il est encore possible de communiquer en monopolisant la vue.

Multiplier les canaux sensoriels n’est pas nécessairement le gage d’une immersion plus profonde (qui ne s’est jamais senti plus emporté par l’histoire d’un bon livre – qui ne sollicite aucun sens direct – que par un film, alors que ce dernier propose image et son ?). En se focalisant sur une réalité sonore augmentée, studio hapax ouvre ainsi la voie à de nouvelles formes d’immersion et de nouvelles manières d’écouter.


Bibliographie sélective online :

https://cedric.cnam.fr/fichiers/art_2560.pdf

https://tel.archives-ouvertes.fr/tel-01087127/document

ftp://ftp.ircam.fr/pub/IRCAM/recherche/IRCAM_R&D_VF.pdf