Atelier « Sonification du geste »

dans le cadre des Ateliers du PerformanceLab

Séminaire GIPSA-lab du Pôle Science des Données

GIPSA-lab, salle Jean-Marc Chassery et plateforme BIOMECA
Jeudi 21 Mars de 14h à 17h

 

14 : 00 – 14 :45 Patrice Guyot
Interactions son/mouvement: indiçage rythmique et sonification

14 :45 – 15 :30 Iseline Peyre
Sonification du mouvement après une lésion cérébrale acquise : conception et évaluations de dispositifs

15 :30 – 16 :00 James Léonard
Présentation d’un environnement logiciel modulaire de sonification du mouvement. Application à l’escalade de vitesse ainsi que l’apprentissage du jonglage à trois balles.

16 :00 – 17 :00 Atelier pratique sur les différents dispositifs de sonification
Salle Jean-Marc Chassery et plateforme BIOMECA – GIPSA-lab 1^er étage

Intervenants et résumés des interventions :

 

Interactions son/mouvement: indiçage rythmique et sonification
Patrice Guyot

Dans le domaine de la santé, l’utilisation interactive de contenus sonores émerge comme technique innovante de stimulation de l’appareil sensori-moteur. Dans cet atelier seront présentés des travaux menés au sein de l’unité de recherche EuroMov DHM, dans un premier temps à travers l’utilisation de l’indiçage rythmique et de l’étude de la synchronisation, puis via deux mises en œuvre expérimentales de techniques de sonification du mouvement.

Le premier dispositif, appelé HearMyHarm, a été conçu dans le cadre du traitement de la maladie de Parkinson. L’approche retenue est celle d’un retour sonore continu dont l’objectif est de permettre aux utilisateurs de prendre conscience de la position de leur bras et de l’amplitude des mouvements réalisés. Le développement d’un premier prototype a été l’occasion de tester deux systèmes de capture du mouvement (Qualisys et Movella Xsens), et de concevoir un système de synthèse sonore lié aux coordonnées biomécaniques du mouvement.

Le deuxième dispositif est développé dans le cadre du projet européen Sharespace. Ce projet propose la création et l'exploration d'espaces virtuels et hybrides englobant une approche sensorimotrice des interactions sociales. Dans le cadre du scénario « health », un travail est en cours avec l’hôpital Vall d’Hebron de Barcelone pour le traitement de la lombalgie. L’utilisation du son au coeur de l’espace virtuel dans lequel le patient réalise des mouvements thérapeutiques ouvre de nombreuses perspectives de stimulations et de retours pour l’utilisateur, sur des aspects motivationnels et posturaux.

 

 

Biographie : Patrice Guyot est enseignant-chercheur à l’IMT Mines Ales. Son activité de recherche est centrée sur les contenus audios et s’articule autour des thématiques d’analyse automatique, de perception, et de synthèse sonore. Au sein de l’unité de recherche EuroMov DHM, il est impliqué dans différents projets dans les domaine de la santé, du numérique et du mouvement humain.

 

Sonification du mouvement après une lésion cérébrale acquise : conception et évaluations de dispositifs
Iseline Peyre  

Les lésions cérébrales acquises, première cause de handicap de l’adulte, induisent de multiples troubles affectant les sphères sensitivo-motrices, cognitives et psycho-sociales. Les déficits fonctionnels résultants ont des répercussions importantes dans la réalisation des activités de vie quotidienne. Si la poursuite de l’accompagnement rééducatif après l’hospitalisation est encouragée, le nombre restreint d’outils dédiés et le déclin progressif de la motivation sont susceptibles de limiter l’engagement des patients. Les dispositifs de sonification du mouvement permettant de disposer en temps réel d’informations sonores continues en lien avec les mouvements réalisés constituent une voie prometteuse pour soutenir l’accompagnement rééducatif. Dans le cadre de mon travail de doctorat réalisé en collaboration avec le service de Médecine Physique et Réadaptation de l’Hôpital Pité-Salpêtrière, le Laboratoire d’Imagerie Biomédicale (LIB), et l’équipe Interactions Son Musique Mouvement du laboratoire STMS-Ircam, nous avons conçu un dispositif de sonification du mouvement dans la perspective d’un usage comme outil de soutien à la rééducation en autonomie supervisée de patients présentant des troubles sensori-moteurs après une lésion cérébrale acquise. Des évaluations ont été menées avec des participants aux profils variés (présentant ou non des troubles sensorimoteurs) afin de déterminer l’effet de différents contextes sonores sur un mouvement d’antépulsion des membres supérieurs (extension du coude). Le dispositif créé fait actuellement l’objet d’une étude d’utilisabilité auprès de rééducateurs.

 

Biographie : Iseline Peyre   Souhaitant associer ses deux domaines de prédilection, la musique et la biologie, après l’obtention de Diplômes d’Études Musicales et d’une Licence de Sciences du Vivant à Sorbonne Université, Iseline a complété sa formation en Master Santé (spécialisation en recherche clinique en rééducation) et en Master en Arts-Thérapies à l’Université Paris Cité (spécialisation musicothérapie). Avant de s’engager dans un projet doctoral, elle s’est investie conjointement dans des missions de pédagogie (chargée d’enseignements au sein du Master de Création Artistique, et en Institut de Formation en Ergothérapie) et de recherche clinique (Ingénieure d’Études au Laboratoire d’Imagerie Biomédicale puis à l’Institut des Systèmes Intelligents et Robotiques de Sorbonne Université, Attachée de Recherche Clinique au Centre de Références des

Anomalies des Membres des Hôpitaux de Saint-Maurice).

Bénéficiant en 2019 d’une bourse de thèse de l’Institut Universitaire d’Ingénierie en Santé de Sorbonne Université, elle a eu l’opportunité d’explorer le champ de la recherche interdisciplinaire en Sciences, Art et Santé, à travers son projet doctoral portant sur la conception et l’évaluation de dispositifs de sonification du mouvement pour la rééducation après une lésion cérébrale acquise, en travaillant avec l’Institut de Recherche et Coordination en Acoustique Musique (IRCAM, équipe Interaction Son Musique Mouvement du laboratoire

de Sciences et Technologies de la Musique et du Son), le Laboratoire d’Imagerie Biomédicale (équipe NCP) et le service de Médecine Physique et Réadaptation de l’hôpital Pitié-Salpêtrière sous la co-direction de Frédéric Bevilacqua et du Pr. Pascale Pradat-Diehl. Elle poursuit actuellement sa collaboration avec plusieurs instituts de Sorbonne Université (IRCAM, Collegium Musicæ) et s’investit pleinement dans des activités de valorisation de la recherche et transmission des savoirs (chargée d’enseignements à Sorbonne Université, Paris Cité et l’Université Paris-Est Créteil).

 

Présentation d’un environnement logiciel modulaire de sonification du mouvement. Application à l’escalade de vitesse ainsi que l’apprentissage du jonglage à trois balles.

James Léonard

 

La mise en son du geste humain recouvre de multiples facettes et enjeux, selon que ce retour sensoriel serve à des fins d’interaction humain-machine, d’expressivité artistique à l’aide d’instruments musicaux numériques, ou encore d’apprentissage sensori-moteur. Dans ce dernier cas, si la littérature scientifique a pu largement démontrer la pertinence de retours sonores en temps réel, les stratégies employées sont extrêmement variées, adoptant souvent des approches ad hoc semi-empiriques. Sans consensus général de ce qui constituerait une sonification optimale, en termes de pertinence de l’information, de charge cognitive associée et de confort d’expérience utilisateur, il apparaît aujourd’hui primordial de disposer d’environnements de prototypage flexibles permettant aisément de déployer des stratégies de sonification complètes, du mapping de données d’entrée jusqu’à la génération du matériau sonore.
Nous présentons ainsi un environnement modulaire mis en œuvre dans le cadre du Performance Lab, permettant d’élaborer des chaînes de sonification de façon dynamique dans un paradigme de programmation visuelle. Nous aborderons ensuite la mise en application de ce système dans le cadre de sonifications interactives pour l’escalade de vitesse et l’apprentissage du jonglage à trois balles.

Biographie : James Leonard est un informaticien, musicien et ingénieur du son grenoblois. Ses travaux de doctorat et de recherche portent sur le lien entre geste et son dans le cadre des instruments musicaux numériques, notamment en interfaçant instruments virtuels et périphériques à retour d’effort. Co-fondateur du projet Arts Numériques et Immersions Sensorielles (ANIS) hébergé au sein de l’Université Grenoble-Alpes de 2018 à 2022, son activité se répartit aujourd’hui entre la production musicale (via le studio Mémoire Mécanique), le développement audio et l’enseignement de l’informatique musicale au Conservatoire de Grenoble.