L'informatique numérique par le hasard et l'ordre dans les réseaux de neurones

Dans ce papier, nous faisons l'hypothèse que le cerveau effectue un codage numérique de l'information. Contre-intuitivement, nous pensons que le cerveau surmonte le problème de sa très grande dimensionalité et du manque de fiabilité de ses neurones en exploitant des connexions synaptiques aléatoires. Les équations théoriques et les simulations informatiques montrent qu'étonnamment, un tout petit nombre de neurones, très peu fiables, est suffisant pour coder des séquences formées à partir d'éléments pris dans un répertoire pouvant aller jusqu'à un milliard de valeurs différentes. Autrement dit, malgré la faiblesse des capacités d'apprentissage des neurones, qui génèrent une part importante d'erreur, les connexions aléatoires aident à représenter de manière exacte l'information de départ, sans perte de détails.

Ce résultat nous a conduit à dériver pour la première fois une équation générale des capacités d'apprentissage dans les réseaux de neurones artificiels, liée à la notion d'entropie et au nombre de neurones dans celui-ci. Ces équations nous permettent aussi de démontrer que notre modèle neuronal suit la limite théorique de Shannon en terme de capacité de stockage d'information.

Ceci a de profondes implications en neurosciences computationnelles et en intelligence artificielle sur la compréhension des mécanismes d'apprentissage et de mémoire, le développement de nouvelles architectures neuronales efficaces et frugales, et vers le développement d'une théorie neuronale de l'information.

Lire l'article en anglais sur le site de PNAS

En savoir plus

• ETIS - Equipes Traitement de l'Information et Systèmes