Équipe concernée: Espaces acoustiques et cognitifs
Programme: Future Emerging Technologies (FET), Information Society Technologies, 6e PCRD, Commission européenne.
Période de réalisation: décembre 2005 – novembre 2008
Partenaires extérieurs: Inria Sophia-Antipolis (coordinateur), universités de Bristol, Erlangen, Vienne et Pise, CNRS UMR 7593, Hôpital de la Salpêtrière 

          L’objet du projet est d’exploiter les propriétés perceptives multisensorielles afin d’optimiser la qualité et l’interactivité des applications de réalité virtuelle. Les environnements virtuels tridimensionnels (EV3D) jouent un rôle de plus en plus important, et leurs applications s’étendent à de nombreux domaines comme le secteur du jeu, les simulateurs pour l’architecture ou les transports, les applications artistiques et culturelles ou la médecine (téléchirurgie mais aussi psychothérapie). En l’état actuel, les deux principaux canaux sensoriels exploités dans les EV3D sont les canaux visuel et auditif. Les recherches récentes menées dans chacun de ces domaines ont montré l’intérêt de l’intégration de règles perceptives pour une meilleure efficacité de restitution. L’idée directrice est d’exploiter les propriétés de résolution, de masquage ou de hiérarchie entre les dimensions perceptives pour conduire la synthèse de la scène sonore ou visuelle. Dans le domaine audio par exemple, qu’il s’agisse de la synthèse de sons instrumentaux ou de la simulation de l’effet de salle, les avantages des approches perceptives en termes de coût de calcul, mais également en termes d’opérabilité des interfaces utilisateurs, ont été largement démontrés.

          Cependant, nos canaux sensoriels ne fonctionnent pas de manière séparée. Par exemple, notre perception spatiale doit être coordonnée à travers différentes modalités sensorielles, notamment visuelle et auditive. Ce processus d’intégration n’est pas trivial dans la mesure où l’encodage de l’espace diffère dans chacune des modalités (vision sectorielle, audition panoramique…). Différentes études ont mis en évidence des phénomènes d’intégration sensorielle dans lesquels une modalité sensorielle peut être affectée par une autre, notamment en termes de congruence spatiale ou temporelle. Bien qu’une littérature abondante du domaine de la psychologie expérimentale soit consacrée à l’observation et l’interprétation de ces effets intermodalitaires, presque aucune tentative n’a été faite à ce jour pour tenir compte de ces propriétés pour l’amélioration des algorithmes de restitution graphique et sonore. Les retombées essentielles sont attendues en termes d’efficacité des algorithmes de restitution visuelle et sonore, et d’opérabilité et d’interactivité des interfaces utilisateurs. Une possibilité serait, par exemple, d’exploiter les propriétés d’intégration sensorielle pour contrôler les processus attentionnels de l’utilisateur.