Immersive Multimedia Technologies

Les technologies de rendu 3D en vidéo et audio immersives, décrites dans le document Google Starline [Starline_ref], ainsi que le rendu audiovisuel volumétrique (par exemple, l'holographie vidéo 3D, l'audio surround 3D) récemment publié dans les normes MPEG-I (Motion Picture Expert Group – Immersive) seront revisités.

Ce cours présente des techniques basées sur l'image (par exemple, donner une illusion de perspective 3D en mélangeant des images 2D) et est donc complémentaire au cours INFO-H502 qui se concentre sur la modélisation graphique 3D. Les deux approches peuvent être utilisées dans des applications de réalité virtuelle comme le métavers, mais la première sera généralement utilisée pour la navigation libre dans des films.

Comprendre les techniques de rendu volumétrique basées sur des images (et des vidéos), ainsi que sur des sources sonores ponctuelles.

Connaissances et compétences pré-requises ou co-requises

Des compétences en programmation C/C++ sont recommandées, bien que les exercices puissent être effectués en Python (mais les exemples d'études de cas seront principalement en C, souvent sans l’utilisation de concepts orientés objets).

Les cours théoriques expliqueront les principaux ingrédients des technologies de rendu 3D audiovisuel immersif, complétés par des exercices pratiques pour maîtriser leurs bases.

Références, bibliographie et lectures recommandées

[Starline_ref] Jason Lawrence, et. al., “Project Starline: A high-fidelity telepresence system,” ACM Trans. Graph., Vol. 40, No. 6, Article 242, December 2021, https://doi.org/10.1145/3478513.3480490

[VR_imm_video_ref] G. Lafruit, M. Teratani, “Virtual Reality and Light Field Immersive Video Technologies for Real-World Applications,” Institution of Engineering & Technology, ISBN 978-1785615788, 2022.

Support(s) de cours

• Syllabus
• Université virtuelle

Informations complémentaires

Diapositives et notes inspirées de [Starline_ref], [VR_imm_video_ref] et de leurs références bibliographiques, ainsi que des capsules vidéo pour certains sujets.

Contacts

Pr. Gauthier Lafruit, LISA-VR

Campus

Solbosch

Méthode(s) d'évaluation

• Examen oral

Examen oral

Un rapport sur les exercices (à rendre avant la période d'examens), ainsi qu'un examen oral sur la partie théorique.

Examen oral sur la théorie, avec questions ponctuelles sur le rapport d'exercices.

Construction de la note (en ce compris, la pondération des notes partielles)

40% exercices, 60% théorie examen oral.

Langue(s) d'évaluation

• anglais
• (éventuellement français, Néerlandais )