HDR - Caroline Larboulette

Présentation des travaux - Habilitation à Diriger des Recherches - Caroline LarbouletteCaroline LARBOULETTE, Maître de Conférences (CNU 27) présentera ses travaux en vue de l’Habilitation à Diriger des Recherches en Sciences et Technologies de l'Information et de la Communication (STIC), intitulés " Synthèse expressive de personnages communicants, d’entités incarnées et d’environnements multisensoriels interactifs à partir du mouvement humain " le 27 avril à Vannes.

Date 27/04

Résumé

Synthèse expressive de personnages communicants, d’entités incarnées et d’environnements multisensoriels interactifs à partir du mouvement humain.

La synthèse du mouvement s’est longtemps concentrée sur l’obtention du réalisme. Si cela reste essentiel dans la plupart des applications (e.g., le cinéma), le réalisme seul ne suffit plus. Aujourd’hui, les animations et les simulations doivent également être expressives. Mais qu’est-ce que l’expressivité ? Qu’est-ce qui rend un mouvement expressif, et comment peut-on la modéliser et la contrôler ?

Cette habilitation explore l’utilisation du mouvement humain comme élément central, de l’analyse du mouvement à la synthèse de personnages communicants, d’entités virtuelles expressives et d’environnements multisensoriels. Elle repose sur l’hypothèse selon laquelle l’expressivité peut être étudiée à travers trois composantes interdépendantes - le sens, l’émotion et le style - qui peuvent être partiellement séparées afin de permettre une compréhension et une synthèse plus fines du mouvement. Alors que l’analyse automatique s’est traditionnellement concentrée sur la reconnaissance des actions ou des émotions, la notion de style reste floue : elle est rarement définie de manière précise et est souvent confondue avec les émotions.

L’expressivité permet également de fournir des paramètres de contrôle de haut niveau, afin de manipuler et d’interagir avec des mondes virtuels immersifs, sans avoir à comprendre la signification de chacun des paramètres sous-jacents des animations ou des simulations. Ce contrôle expressif des simulations par le corps permet des expériences immersives dans lesquelles le mouvement n’est plus simplement représenté, mais devient une matière permettant de personnifier des entités ou d’étendre le corps humain par l’incarnation.

Les contributions proposées se situent à l’intersection de l’informatique graphique, de l’interaction homme-machine, de la réalité virtuelle et de la création artistique, tout en convergeant vers un objectif commun : comprendre l’expressivité du mouvement et l’utiliser à des fins de synthèse.

Mots clés : capture du mouvement, perception, expressivité, style, émotions, analyse du mouvement, synthèse de mouvement, multi-sensoriel, avatars signeurs, arts immersifs, arts performatifs.

Abstract

Expressive Synthesis of Communicative Characters, Embodied Entities, and Interactive Multisensory Environments from Human Motion.

Motion synthesis has long focused on achieving realism, which remains essential in most applications such as computer graphics animation in movies. However, realism alone is no longer sufficient. Today, animations and simulations also need to be expressive. But what is expressiveness? What makes a movement expressive, and how can it be modeled and controlled?

This habilitation explores the use of human motion as a central element, spanning motion analysis, the synthesis of communicative characters, expressive virtual entities, and multisensory environments. It is grounded in the hypothesis that expressiveness can be understood through three interdependent components - meaning, emotion, and style - which can be partially disentangled to enable a deeper understanding and finer motion synthesis. While automatic analysis has traditionally focused on the recognition of actions or emotions, the notion of style remains blurry: it is rarely defined in clear terms and is often confused with portrayal or emotional expression.

Expressiveness also provides high-level control parameters that make it possible to manipulate and interact with immersive virtual worlds without having to understand the meaning of each underlying animation or simulation parameter. This expressive, body-based control of simulations enables immersive experiences in which movement is no longer simply represented but becomes material to personify entities or extend the human body through embodiement.

The proposed contributions are situated at the intersection of computer graphics, human-computer interaction, virtual reality, and artistic creation. Although these works span multiple domains, they converge toward a common goal: understanding the expressiveness of movement and use it for synthesis goals.

Keywords: motion capture, perception, expressiveness, style, emotions, movement analysis, movement synthesis, multisensory, signing avatars, immersive art, live performances

Membres du jury

• Pr Alexandre MEYER, rapporteur, Professeur des Universités, Université Claude Bernard Lyon 1, LIRIS CNRS UMR 5205
• Pr Catherine PELACHAUD, rapporteur, Directrice de Recherche CNRS, IRIS CNRS UMR 7222, Sorbonne Université
• Pr Damien ROHMER, rapporteur, Professeur à l'École Polytechnique, Institut Polytechnique de Paris, LIX CNRS UMR 7161
• Pr Valérie GOURANTON, examinatrice, Professeure des Universités, INSA Rennes, IRISA CNRS UMR 6074, INRIA de l'Université de Rennes
• Dr Nicolas CASTAGNÉ, examinateur, Maître de Conférences HDR, Grenoble INP, Université Grenoble Alpes, GIPSA-Lab
• Pr Benoît CRESPIN, examinateur, Professeur des Universités, Université de Limoge, Institut XLIM CNRS UMR 7252
• Pr Sylvie GIBET, Garant, Professeure des Universités, Université Bretagne Sud, IRISA CNRS UMR 6074

École doctorale MathSTIC Bretagne Océane N°644

IRISA CNRS UMR 6074

Informations pratiques

Lundi 27 avril à 10h

Amphithéâtre

Ecole d'Ingénieurs ENSIBS 

Vannes

Crédit photographique : ©Université Bretagne Sud. Service Communication