Oculo Nimbus

Vers de Nouveaux Modèles Statistiques pour Interpréter les Traces Oculométriques au Coeur de notre Cognition

Équipe action

L'équipe-action Oculo Nimbus (Vers de Nouveaux Modèles Statistiques pour Interpréter les Traces Oculométriques au Coeur de notre Cognition) est un projet financé par le LabEx PERSYVAL.

Résumé de l'équipe-action

Dans le domaine de la vision, l'interaction de l'homme avec son environnement est réalisée par une exploration dynamique des régions visuelles d'intérêt au moyen de mouvements oculaires. La compréhension des mécanismes responsables de cet échantillonnage efficace de l'information ouvre des perspectives d'innovation dans l'interaction homme-machine, soit en imitant l'exploration visuelle humaine dans les robots, soit en créant des interfaces "naturelles" pour les humains.

L'oculométrie est une technique de suivi et d'enregistrement continu des mouvements oculaires. Il s'agit d'un dispositif de mesure très répandu, dont la facilité d'utilisation dans des contextes écologiques s'est accrue. A l'avenir, ce dispositif sera utilisé dans des disciplines plus larges que les premières (psychologie cognitive ou applications cliniques), pour aller vers l'ergonomie cognitive ou l'enrichissement des contenus multimédias, pour ne prendre que les deux exemples les plus emblématiques de la société numérique.

Notre projet vise à développer de nouveaux outils statistiques pour l'analyse des mouvements oculaires et des données multimodales.

Nous prévoyons d'organiser notre effort de recherche autour de quatre thèmes principaux. Le premier thème concerne le développement de modèles statistiques pour les données multimodales et les mouvements oculaires. Les trois autres thèmes concernent : (i) la segmentation des données spatiotemporelles en phases cognitives complètes, (ii) l'analyse des dépendances spatiotemporelles pour expliquer les différences intra et interindividuelles, et (iii) la modélisation des fixations oculaires avec une résolution spatiale plus élevée pour comprendre les rôles fonctionnels des microsaccades dans la perception visuelle.

Les objectifs de cette équipe de projet sont en ligne avec ceux de PERSYVAL-Lab et plus spécifiquement avec l'axe Advanced Data Mining.

Notre travail théorique se concentrera sur l'adaptation et l'amélioration des outils existants des statistiques spatiales, en particulier les modèles de processus ponctuels et les chaînes de Markov spatiales, aux défis spécifiques des données sur les mouvements oculaires, seuls, mais aussi couplés à des signaux électroencéphalographiques. En outre, nous tirerons parti de la littérature existante sur la modélisation hiérarchique pour construire des modèles capables de quantifier les différences intra et interindividuelles.

Les modèles de processus ponctuels sont utilisés pour analyser le type de données qui prennent la forme d'un ensemble de points dans l'espace, en fait un simple ensemble de points aléatoires sur une carte. Ces données sont naturellement très courantes et vont des emplacements observés d'animaux ou d'arbres (en écologie) aux cas de maladie (en épidémiologie). L'objectif habituel est de comprendre pourquoi les choses se produisent là où elles se produisent et de prédire les occurrences futures. Dans nos applications particulières, nos données consistent en des points de fixation oculaire sur une image ou une vidéo, et l'objectif est de comprendre pourquoi les sujets choisissent de fixer un endroit plutôt qu'un autre. Pour ce faire, les modèles de processus ponctuels tentent de lier les emplacements observés à diverses covariables spatiales.
Les animaux sont plus susceptibles de se trouver là où il y a de la nourriture, et une carte de la disponibilité de la nourriture constituerait donc une bonne covariable spatiale pour un modèle de localisation des animaux. De même, les lieux de fixation peuvent être prédits à partir de caractéristiques locales de l'image (Privitera & Starck, 2000), le contraste local étant un bon exemple : les régions homogènes de l'image sont moins intéressantes (Itti et al., 1998).

D'un point de vue cognitif, les séquences de fixation (appelées "scanpaths") révèlent des processus non stationnaires. Par exemple, dans une tâche de recherche d'informations telle que la lecture ou l'exploration visuelle (recherche visuelle), les phases de lecture, de recherche visuelle, de prise de décision ou de confirmation sont entrelacées. Pour déduire les états latents des données, une approche basée sur les HMM et la modélisation des problèmes inverses a été envisagée par Simola et al. (2008). Ces phases cognitives devraient se refléter à la fois dans les mouvements oculaires et dans les séquences EEG.
Cependant, l'utilisation de ces données multimodales soulève des questions théoriques concernant principalement l'hétérogénéité des observations (continues, discrètes - catégorielles ou nominales, ordinales), ainsi que le décalage temporel entre les différents modes, ce qui implique un asynchronisme entre les phases.

Des études antérieures (Simola et al., 2008) ont montré que la lecture n'est pas un processus stationnaire, du point de vue de la cognition et des mouvements oculaires. Le plus souvent, l'acquisition d'informations par la lecture comporte plusieurs étapes ou phases, telles que le balayage, la lecture attentive, la prise de décision ou la confirmation. Si cette étude (Simola et al., 2008) concerne la lecture, cette problématique se retrouve également dans la recherche visuelle, et plus généralement dans les tâches de recherche d'information, quel que soit le média. Dans ce projet, nous envisageons d'étudier cette question dans les deux contextes, l'un en lecture, l'autre en recherche visuelle.

Le comportement des mouvements oculaires varie considérablement d'un individu à l'autre. Certaines différences sont idiosyncrasiques, mais d'autres peuvent être dues à une maladie, et les mouvements oculaires sont des outils importants pour le diagnostic et la rééducation en psychiatrie, en neurologie et en ophtalmologie. Cette question sera abordée dans le contexte de ce projet, mais avec les bases de données dont nous disposons, provenant de participants volontaires en bonne santé (mouvements oculaires de bébés âgés de trois à douze mois, mouvements oculaires issus de l'exploration visuelle et de la lecture d'adultes présentant des comportements différents lorsque des instructions de rapidité sont obligatoires). Nous supposons qu'il peut y avoir des différences substantielles dans les dépendances séquentielles qui pourraient potentiellement être capturées dans des processus ponctuels ou des modèles de Markov.

La fixation visuelle s'accompagne de mouvements oculaires miniatures appelés mouvements oculaires de fixation (en anglais fixational eye movements ou FEMs). On distingue trois types de FEMs : dérive, tremblement et microsaccades (Rolfs, 2009). Pourtant, le rôle fonctionnel des microsaccades a été remis en question dans les premières études : plusieurs groupes ont fourni des preuves que les microsaccades ne sont rien d'autre qu'un bruit oculomoteur, comme le soutiennent Collewijn & Kowler, (2008). En revanche, Ko, Poletti & Rucci, (2010) ont reproduit la tâche "enfiler une aiguille" dans un environnement virtuel hautement contrôlé et ont observé que la fréquence d'apparition des plus petites microsaccades augmentait de manière significative vers la fin de la tâche, alors qu'elles étaient rares pendant l'enfilage ou la fixation. Ces propriétés potentielles de microsaccades augmentées par le bruit ont été récemment modélisées à l'aide d'un modèle de base de photorécepteurs rétiniens (Zozor, Amblard & Duchene, 2009). La terminologie "noise-enhanced" désigne la capacité des systèmes à améliorer leurs performances en présence de bruit. Comme les microsaccades génèrent des fluctuations rapides de l'image rétinienne, Zozor et al. (2009) ont suggéré que ces transitoires visuels pourraient être utiles en termes de traitement de l'information spatiale.

Participants

  • GIPSA-lab (thème 4) : Simon Barthelmé (CR CNRS), Anne Guérin-Dugué (PR UGA), Nathalie Guyader (MCF UGA), Ronald Phlypo (MCF GINP), Steeve Zozor (CR CNRS)
  • LIG ( thème 1) : Francis Jambon (MCF UGA)
  • LJK (thème 3) : Mariane Clausel (MCF UGA, jusqu'en août 2017), Jean-François Coeurjolly (MCF UGA, jusqu'en août 2016), Jean-Baptiste Durand (MCF INP), Jean-Charles Quinton (MCF UGA)
  • LPNC (thème 4) : David Alleysson (CR CNRS), Alan Chauvin (MCF UGA), Benoît Lemaire (MCF UGA), David Meary (MCF UGA)
  • Participant associé (thème 1) : Jean-François Coeurjolly (PR UQAM-Montréal-Canada, depuis septembre 2016)

Thèses de doctorat

1. Analyse conjointe des mouvements oculaires et des EEG à l'aide de modèles de Markov cachés couplés

  • Doctorant : Brice Olivier
  • Directeurs de thèse : Jean-Baptiste Durand, Anne Guérin-Dugué
  • À partir d'octobre 2015, dans l'école doctorale MSTII (Mathématiques, Sciences et technologies de l'information, Informatique)
  • Lire la description de la thèse (en anglais)

2. Modélisation des mouvements oculaires

  • Doctorante : Camille Breuil
  • Directeurs de thèse : Nathalie Guyader, Simon Barthelmé
  • À partir de novembre 2015, financement par une bourse « AGIR » (2015), dans l'école doctorale ISCE (Ingénierie pour la Santé la Cognition et l'Environnement)
  • Lire la description de la thèse (en anglais)

3. Modélisation des micro-mouvements oculaires par la perception multistable

  • Doctorant : Kevin Parisot
  • Directeurs de thèse : Steeve Zozor, Ronald Plypo, Alan Chauvin
  • À partir d'octobre 2016, financement par une bourse universitaire (2015), dans l'école doctorale EEATS (Électronique, Électrotechnique, Automatique, Traitement du Signal)
  • Lire la description de la thèse

Post-doc

1. Statistiques spatiales/computationnelles

  • Étudiante post-doc : Mélisande Albert
  • Superviseurs : Simon Barthelmé, Jean-François Coeurjolly
  • Début en décembre 2015, fin en août 2016

Publications

Processus ponctuel spatial (partenaire associé, J.F. Coeurjolly)

Jean-François Coeurjolly, Jesper Møller, Rasmus Waagepetersen. (2017). Palm distributions for log Gaussian Cox processes. Scandinavian Journal of Statistics, Wiley, 44 (1), pp.192-203. <hal-01163672v4>

Jean-François Coeurjolly, Jesper Møller, Rasmus Waagepetersen. (2017). A tutorial on Palm distributions for spatial point processes. International Statistical Review, Wiley, 83 (5), pp.404-420. <hal-01241277v3>

Jean-François Coeurjolly (2017). Median-based estimation of the intensity of a spatial point process. Annals of the Institute of Statistical Mathematics, Springer Verlag, 69 (2), pp.303-331. <hal-01071605v2>

Jean-François Coeurjolly, Frédéric Lavancier. (2017). Parametric estimation of pairwise Gibbs point processes with infinite range interaction. Bernoulli, Bernoulli Society for Mathematical Statistics and Probability, 23 (2), pp.1299-1334. <hal-01092225v3>

Achmad Choiruddin, Jean-François Coeurjolly, Frédérique Letue. (2018). Convex and non-convex regularization methods for spatial point processes intensity estimation. Electronic journal of statistics , Shaker Heights, OH : Institute of Mathematical Statistics, 12 (1), pp.1210-1255. <hal-01484779v2>

Analyse conjointe des mouvements oculaires et de l'EEG

Emmanuelle Kristensen, Bertrand Rivet, Anne Guérin-Dugué. (2017). Estimation of overlapped Eye Fixation Related Potentials: The General Linear Model, a more flexible framework than the ADJAR algorithm. Journal of Eye Movement Research, 10 (1):1-27. <hal-01568579>

Emmanuelle Kristensen, Anne Guérin-Dugué, Bertrand Rivet. (2017). Regularization and a general linear model for event-related potential estimation. Behavior Research Methods, 49(6):2255-2274. <hal-01539867>

Aline Frey, Benoit Lemaire, Laurent Vercueil, Anne Guérin-Dugué. (2018). An Eye Fixation-Related Potential Study in Two Reading Tasks: Reading to Memorize and Reading to Make a Decision. Brain Topography, 31(4):640-660. <hal-01741895v1>

Anne Guérin-Dugué, Raphaelle N. Roy, Emmanuelle Kristensen, Bertrand Rivet, Laurent Vercueil, Anna Tcherkassof. (2018). Temporal Dynamics of Natural Static Emotional Facial Expressions Decoding: A Study Using Event- and Eye Fixation-Related Potentials. Frontiers in Psychology, Frontiers, 2018, 9:1190.〈hal-01837209〉

Modélisation des mouvements oculaires

Jean-Charles Quinton, Laurent Goffart. (2018). A unified dynamic neural field model of goal directed eye-movements. Connection Science, Taylor & Francis, Embodied Neuronal Mechanisms in Adaptive Behaviour, 30 (1), pp.20-52. <hal-01637024>

Conférences internationales

Analyse conjointe des mouvements oculaires et de l'EEG

Emmanuelle Kristensen, Raphaëlle N. Roy, Bertrand Rivet, Anna Tcherkassof, Anne Guérin-Dugué. (2017). Analyzing Emotional Facial Expressions’ Neural Correlates Using Event-Related Potentials and Eye Fixation-Related Potentials. 19th European Conference on Eye Movements (ECM 2017), Aug 2017, Wuppertal, Germany. <hal-01577643>

Anne Guérin-Dugué, Benoit Lemaire, Aline Frey. (2017). General Linear Model to isolate higher-level cognitive components from oculomotor factors in natural reading by using EEG and eye-tracking data coregistration. 19th European Conference on Eye Movements (ECM 2017), Aug 2017, Wuppertal, Germany. <hal-01841508>

Modélisation des mouvements oculaires

Camille Breuil, Simon Barthelme, Nathalie Guyader. (2017). How redundant are luminance and chrominance information in natural scenes?. Vision Sciences Society Annual Meeting, May 2017, St Pete's Beach, United States. <hal-01836541>

Camille Breuil, Simon Barthelme, Nathalie Guyader. (2017). Luminance modulates color detection threshold in natural scenes. International Colour Vision Society Symposium, Aug 2017, Erlangen, Germany. <hal-01836503>

Camille Breuil, Simon Barthelme, Nathalie Guyader. (2017). Luminance modulates color detection threshold in natural scenes. European Conference on Visual Perception, Aug 2017, Berlin, Germany. <hal-01836518>

Brice Olivier, Jean-Baptiste Durand, Anne Guérin-Dugué, Marianne Clausel. (2017). Eye-tracking data analysis using hidden semi-Markovian models to identify and characterize reading strategies. 19th European Conference on Eye Movements (ECM 2017), Aug 2017, Wuppertal, Germany. 2017. <hal-01671224>

Modélisation des micro-mouvements oculaires par la perception multistable

Kevin Parisot, Alan Chauvin, Anne Guérin-Dugué, Ronald Phlypo, Steeve Zozor. (2017). Predictable motion on a Necker cube leads to micro-pursuit-like eye movements and affects the dynamics of bistability.. 19th European Conference on Eye Movements (ECM 2017), Aug 2017, Wuppertal, Germany. <hal-01726513>

Kevin Parisot, Alan Chauvin, Anne Guérin-Dugué, Ronald Phlypo, Steeve Zozor. (2017). A multistable gravitational potential approach to fixational eye movements. European Conference on Visual Perception (ECVP 2017), Aug 2017, Berlin, Germany. <hal-01724178>

Conférences nationales

Analyse conjointe des mouvements oculaires et de l'EEG

Jean-Baptiste Durand, Anne Guérin-Dugué, Sophie Achard. (2016). Analyse de séquences oculométriques et d'électroencéphalogrammes par modèles markoviens cachés. 48èmes Journées de Statistique, May 2016, Montpellier, France. <hal-01339458>

Mouvements oculaires et EEG

Jean-Charles Quinton, Laurent Goffart. (2016). A neural field model of the dynamics of goal-directed eye movements. Colloque BioComp, Oct 2016, Lyon, France. <hal-01839803>

Publié le 26 novembre 2024

Mis à jour le 3 avril 2025