TAPIOCA

Personnes impliquées

Céline Coutrix (LIG), Yann Laurillau (LIG), Jean-Claude Leon (LJK), Cédric Masclet (G-SCOP), Frank Quaine (GIPSA-lab), Damien Romer (LJK).

Résumé du projet

En étudiant la convergence des mondes physique et numérique, ce projet vise à identifier et à concevoir les systèmes interactifs du futur basés sur la reconnaissance gestuelle et reposant sur des outils mixtes redimensionnables (RMT pour Resizable Mixed Tools). Dans ce projet, ces outils sont dédiés au domaine typique de la conception d'artefacts physiques, tels que les produits industriels, et de la conception d'artefacts numériques, tels que les modèles 3D.

Grâce aux évolutions technologiques, telles que le dispositif Kinect de Microsoft, l'interaction gestuelle est désormais considérée comme un moyen évident et plus naturel d'interagir avec les ordinateurs. Elle ouvre la voie à un large éventail de domaines d'application potentiels, tels que les soins de santé ou l'éducation. En outre, les gestes jouent également un rôle important dans la réflexion et la collaboration, notamment dans les activités de conception.

En particulier, les interactions gestuelles tangibles peuvent jouer un rôle positif dans la conception collaborative. Cependant, les concepteurs finissent par utiliser un grand nombre de dispositifs tangibles, de tailles différentes, afin d'équilibrer leur besoin d'espace d'entrée et leur besoin d'espace. Il est important de pouvoir équilibrer en permanence ces deux besoins, en particulier pour manipuler et visualiser des modèles CAO (Conception assistée par ordinateur) en 3D, mais le problème est difficile car il remet en cause les paradigmes et les technologies d'interaction actuels.

Au cœur de ce projet, les RMT sont des objets combinant des représentations physiques et numériques avec des capacités de redimensionnement, utilisés comme outils pour des activités de conception. Supportant des interactions et des activités beaucoup plus naturelles ancrées dans le monde physique, nous envisageons un tel système (1) capable d'adapter l'interaction aux besoins de l'utilisateur, (2) capable d'assister proactivement les utilisateurs dans leurs tâches grâce à la reconnaissance des gestes et des intentions, (3) facilitant et augmentant l'efficacité des activités de conception d'artefacts.

Quatre défis scientifiques majeurs, étroitement liés et difficiles à relever, nécessitant une approche interdisciplinaire, ont été identifiés :

1. Reconnaître de manière robuste et précise les gestes de préhension de l'avant-bras et identifier les intentions des utilisateurs afin de permettre à un système interactif d'aider de manière proactive les utilisateurs (par exemple les concepteurs) dans leur tâche.
2. Identifier les techniques d'interaction tangibles et redimensionnables basées sur les RMT, et concevoir des systèmes interactifs capables d'adapter l'interaction aux besoins et aux gestes de l'utilisateur.
3. Concevoir des outils de conception appropriés basés sur les RMT, capables de s'adapter aux besoins des concepteurs et de fournir des informations sur les propriétés de préhension du produit à concevoir.
4. Fournir des représentations numériques en 3D pour les activités de conception permettant des modes de déformation riches couplés à des techniques d'interaction pertinentes basées sur les RMT pour manipuler des modèles 3D déformables.

Les défis abordés couvrent plusieurs domaines scientifiques : l'interaction homme-machine et l'interaction gestuelle tangible ainsi que les interfaces utilisateur redimensionnables, la conception coopérative et les pratiques de conception avec des outils de CAO, le traitement et la classification des signaux EMG, et la modélisation 3D et les modèles 3D déformables. Il encourage les collaborations entre chercheurs ayant une expertise interdisciplinaire des départements GIPSA-lab (EMG), G-SCOP (conception coopérative), LIG (interaction humain-ordinateur), et LJK (modèles 3D).