Le vif intérêt d’Apple pour les technologies AR continue, comme en témoigne un nouveau brevet relatif aux enregistrements binauraux sur iPhone.
Les enregistrements binauraux sont conçus pour être écoutés avec des écouteurs, en particulier dans les expériences de réalité augmentée. Ils sont destinés à offrir un résultat très immersif, où vous pouvez clairement entendre le son provenant d’une direction spécifique.
La réalisation des enregistrements binauraux est réalisée avec des microphones spécifiques, dont beaucoup sont même incorporés dans une tête de mannequin pour offrir les propriétés sonores les plus réalistes possibles. Ces enregistrements capturent avec précision la façon dont le son est affecté par la tête et la forme des oreilles.
Une approche légèrement différente consiste à incorporer les microphones dans les oreillettes des écouteurs. Le même niveau de réalisme n’est pas atteint, mais il peut tout de même offrir d’excellents résultats. Pour améliorer ces résultats, il y a également un besoin d’une grande optimisation logicielle et c’est là que se concentre le nouveau brevet d’Apple.
Dans le brevet, Apple décrit l’utilisation de deux caméras et quatre microphones pour capturer le son. Ce dernier est ensuite traité par le logiciel pour émuler un véritable enregistrement binaural.
« L’enregistrement binaural de l’audio facilite l’acquisition complète du son 3D – en d’autres termes, il est capable de reproduire la scène sonore exacte et de donner à l’utilisateur le sentiment d’être « là ». Cela peut être réalisé grâce au rendu spatial des entrées audio à l’aide de la fonction HRTF, qui modifie un signal sonore afin d’induire la perception d’un auditeur que l’audio provient de n’importe quel point de l’espace.
Bien que cette approche soit convaincante, par exemple, pour des applications de réalité virtuelle complètes, où un utilisateur peut interagir à la fois visuellement et acoustiquement dans un environnement virtuel, les sons tridimensionnels peuvent distraire le spectateur de l’écran dans les applications de capture vidéo traditionnelles. Inversement, les enregistrements monophoniques ou stéréophoniques traditionnels peuvent ne pas fournir un sentiment d’immersion suffisant.
La technologie vise à créer une méthode pour produire une fonction de formation de faisceau de captation de son déformée spatialement, à appliquer à un enregistrement audio multicanal d’un enregistrement vidéo. Le procédé comprend la génération d’une fonction de directivité cible.
Un ensemble de coefficients de formation de faisceau de l’oreille gauche et un ensemble de coefficients de formation de faisceau de l’oreille droite peuvent être générés en déterminant le meilleur ajustement pour la fonction de directivité cible sur la base d’une matrice de base du dispositif. L’ensemble des coefficients de formation de faisceau de l’oreille gauche et l’ensemble de coefficients de formation de faisceau de l’oreille droite peuvent ensuite être émis et appliqués à l’enregistrement audio multicanal pour produire un son plus enveloppant et dans l’espace pour l’enregistrement vidéo. »
Il est probable qu’il faille combiner les deux technologies pour un résultat maximum, c’est-à-dire écouter les enregistrements réalisés avec la technologie de ce brevet via des écouteurs qui utilisent la technologie décrite dans le précédent. Cependant, il est possible que les écouteurs ordinaires offrent toujours une expérience plutôt convaincante.
Le principal avantage de l’approche décrite dans ce brevet est que le fait de tourner la tête n’affecterait pas la position perçue. En fait, l’iPhone pourrait être utilisé pour faire ces enregistrements, qui pourraient ensuite être écoutés très efficacement même avec des écouteurs normaux et pas seulement via des lunettes/casques AR ou VR.
