Europe Solidaire
CultureEconomieEducationEnvironnementInstitutionsInternationalSciencesSécurité/DéfenseSocialTechnologiesValeurs
Aggrandir Réduire Reinitialiser

Science L'Imagerie Magnétique Fonctionnelle (fMRI) à la recherche de notre compréhension visuelle du monde

Mieux comprendre les fonctions cérébrales impliquées dans la vision et la compréhension du monde, ainsi que construire des systèmes d'Intelligence artificielle avancée remplissant les mêmes fonctions.

Image
Watching in near-real-time what the brain sees. Visual information generated by a video (a) is processed in a cascade from the retina through the thalamus (LGN area) to several levels of the visual cortex (b), detected from fMRI activity patterns (c) and recorded. A powerful deep-learning technique (d) then models this detected cortical visual processing. Called a convolutional neural network (CNN), this model transforms every video frame into multiple layers of features, ranging from orientations and colors (the first visual layer) to high-level object categories (face, bird, etc.) in semantic (meaning) space (the eighth layer). The trained CNN model can then be used to reverse this process, reconstructing the original videos — even creating new videos that the CNN model had never watched. (credit: Haiguang Wen et al./Cerebral Cortex)

Des chercheurs américains de Purdue Engineering (https://engineering.purdue.edu/Engr) ont mis au point une méthode permettant grâce à l'Imagerie fonctionnelle par résonnance magnétique fMRI (voir https://en.wikipedia.org/wiki/Functional_magnetic_resonance_imaging d'obtenir des vidéos montrant ce que des sujets visualisent  dans le monde réel.

Le nouveau système, développé à partir de prototypes datant de 2015, décode les images mobiles que les sujets perçoivent sur des vidéos, ainsi que les interprétations qu'ils s'en donnent. S'agit-il par exemple d'un humain ou d'un animal ? Plus en détail, il fera mieux apparaître les réseaux neuronaux du cortex visuel impliqués dans ces tâches.

Grâce à cette avancée, selon les chercheurs, les neurosciences pourront mieux identifier  quelles parties du cortex visuel sont activées en fonction d'un type spécifique de perception, et celles qui par ailleurs reconstruisent des images mentales des objets perçus. Ainsi,  les neurosciences pourront mieux comprendre comment le cerveau décompose une scène visuelle globale  en de nombreux éléments, puis réassemble ces éléments pour se donner une compréhension complète de la scène.

Les chercheurs ont mis au point des modèles réalisés à partir d'un sujet donné,  utilisables dans la compréhension des cerveaux d'autres sujets. Ce processus est nommé  “cross-subject encoding and decoding.”

L'on pourrait dire un peu sommairement qu'il s'agit d'un nouveau pas pour faire apparaître ce à quoi les sujets pensent, ceci avec leur consentement mais aussi dans une certaine mesure sans celui-ci. Autrement dit, il s'agirait d'un nouveau pas dans ce que l'on pourrait appeler  le viol des consciences.

 Mais n'est-ce pas depuis longtemps un des objectifs de l'IA, notamment de celle abondamment financée par Google, qui compte sur elle pour devenir le maître du monde ?

Abstract of Neural Encoding and Decoding with Deep Learning for Dynamic Natural Vision

Convolutional neural network (CNN) driven by image recognition has been shown to be able to explain cortical responses to static pictures at ventral-stream areas. Here, we further showed that such CNN could reliably predict and decode functional magnetic resonance imaging data from humans watching natural movies, despite its lack of any mechanism to account for temporal dynamics or feedback processing. Using separate data, encoding and decoding models were developed and evaluated for describing the bi-directional relationships between the CNN and the brain. Through the encoding models, the CNN-predicted areas covered not only the ventral stream, but also the dorsal stream, albeit to a lesser degree; single-voxel response was visualized as the specific pixel pattern that drove the response, revealing the distinct representation of individual cortical location; cortical activation was synthesized from natural images with high-throughput to map category representation, contrast, and selectivity. Through the decoding models, fMRI signals were directly decoded to estimate the feature representations in both visual and semantic spaces, for direct visual reconstruction and semantic categorization, respectively. These results corroborate, generalize, and extend previous findings, and highlight the value of using deep learning, as an all-in-one model of the visual cortex, to understand and decode natural vision.

Référence

 

 

29/10/2017
Vos réactions
Dernières réactions
Actuellement, pas de réaction sur cet article!
Votre réaction
Vérification anti-spam
Nom/pseudo*


Email*


Titre*


Commentaire*


* champs obligatoires
Europe Solidaire