FR
Un cadre unique pour planifier et modifier des scènes audio spatiales
Spatial Audio Generation and Editing with Executable Plans and Self-Distilling Transfusion · arXiv:2610.34415
En termes simples
L’audio spatial décrit des sons qui viennent de différents endroits et se déplacent au fil du temps. Le modifier consiste à changer un son demandé tout en gardant intact le reste de la scène.
L’article présente Ambit, qui établit un plan pour chaque source sonore et s’en sert pour produire un audio spatial à quatre canaux. Pour les modifications évaluées, Ambit obtient de meilleurs résultats que SwanWeave sur six mesures du contenu et de la reconstruction du son.
D’autres mesures indiquent une meilleure préservation des sources inchangées, mais uniquement dans les intervalles où ces sources peuvent être évaluées seules.
La recherche
Quand on modifie un son dans une scène spatiale, le système peut-il préserver les autres sources et leurs détails acoustiques ? La question de recherche est de savoir comment relier les décisions concernant chaque source au rendu audio nécessaire pour effectuer ce type de modification.
Ambit relie des plans détaillés des sources de toute une scène au rendu audio à quatre canaux, puis entraîne conjointement la planification et le rendu à partir des contextes de modification générés par l’étudiant.
Ambit relie un plan des sources de toute une scène au rendu audio à quatre canaux ; l’audio des sources apporte des détails acoustiques pour les modifications. Pour évaluer celles-ci, les auteurs comparent les systèmes sur les mêmes demandes, en utilisant l’interface habituelle de chacun. Ambit surpasse SwanWeave sur les six mesures rapportées de reconstruction du contenu et du spectre.
Des mesures spatiales distinctes montrent qu’Ambit arrive en tête des groupes portant sur la scène cible, la préservation des sources inchangées et la direction des objets. Ces résultats éclairent différents aspects des modifications ; la préservation n’est mesurée que dans les intervalles admissibles où une source inchangée est la seule source active annotée.
La configuration actuelle de ScenePlan prend en charge des scènes d’environ 15 secondes ou moins. L’article n’évalue pas la cohérence des détails acoustiques d’une modification à l’autre.
Ce que montrent les preuves
- Le défi de la modification
Un système audio spatial doit coordonner le contenu de chaque source sonore, ses périodes d’activité et ses déplacements. La modification ajoute une difficulté : changer certains attributs tout en préservant les autres sources et leurs détails acoustiques.
Ambit est un cadre de génération et de modification d’audio spatial à quatre canaux, qui représente les sons dans toutes les directions. Il relie la description des sources au rendu audio pour prendre en charge ces deux tâches.
- Les plans guident le rendu
Le ScenePlan structuré d’Ambit décrit toute la scène cible, y compris les sources à laisser inchangées. Un compilateur convertit ce plan en commandes pour le moteur de rendu audio, tandis que l’audio des sources fournit des détails acoustiques supplémentaires pendant la modification.
Le cadre entraîne également sa représentation audio à reconstruire un canal omnidirectionnel et à préserver les relations entre canaux. Ces choix relient les décisions prises pour chaque source au son produit.
- Résultats sur le contrôle spatial
L’article évalue la génération spatiale en comparant Ambit à des systèmes utilisant d’autres planificateurs ou chaînes de rendu. Dans la comparaison qui reprend le moteur de rendu d’Ambit, celui-ci arrive en tête des groupes de mesures spatiales au niveau des scènes et des objets.
Les mesures de scène comparent les directions dans un audio mêlé ; celles des objets utilisent des intervalles où une seule source active est annotée. Comme le moteur de rendu est partagé, cette comparaison renseigne sur le rôle de la planification dans ce cadre, tandis que les autres comparaisons de systèmes portent sur des différences plus larges.
- Résultats sur les modifications et l’entraînement
Pour les modifications, Ambit surpasse SwanWeave sur six mesures de reconstruction du contenu et du spectre, et arrive en tête des groupes de mesures portant sur la scène cible, la préservation des sources inchangées et la direction des objets.
La préservation n’est mesurée que dans les intervalles admissibles où une source inchangée est la seule source active annotée. L’article constate aussi que l’OPSD conjoint se classe en tête des recettes d’entraînement après l’entraînement initial et des variantes de supervision évaluées, sur neuf mesures de modification. Ces résultats étayent l’intérêt de l’entraînement conjoint dans ces évaluations.