Alexandre Pitti, chercheur au laboratoire ETIS, explique les résultats publiés dans la revue américaine "Proceedings of the National Academy of Sciences" (PNAS) le 10 août 2022 dans l'article "Digital computing through randomness and order in neural networks".
Dans ce papier, nous faisons l'hypothèse que le cerveau effectue un codage numérique de l'information. Contre-intuitivement, nous pensons que le cerveau surmonte le problème de sa très grande dimensionalité et du manque de fiabilité de ses neurones en exploitant des connexions synaptiques aléatoires. Les équations théoriques et les simulations informatiques montrent qu'étonnamment, un tout petit nombre de neurones, très peu fiables, est suffisant pour coder des séquences formées à partir d'éléments pris dans un répertoire pouvant aller jusqu'à un milliard de valeurs différentes. Autrement dit, malgré la faiblesse des capacités d'apprentissage des neurones, qui génèrent une part importante d'erreur, les connexions aléatoires aident à représenter de manière exacte l'information de départ, sans perte de détails.
Ce résultat nous a conduit à dériver pour la première fois une équation générale des capacités d'apprentissage dans les réseaux de neurones artificiels, liée à la notion d'entropie et au nombre de neurones dans celui-ci. Ces équations nous permettent aussi de démontrer que notre modèle neuronal suit la limite théorique de Shannon en terme de capacité de stockage d'information.
Ceci a de profondes implications en neurosciences computationnelles et en intelligence artificielle sur la compréhension des mécanismes d'apprentissage et de mémoire, le développement de nouvelles architectures neuronales efficaces et frugales, et vers le développement d'une théorie neuronale de l'information.
Les cookies nous permettent de personnaliser le contenu et les annonces, d'offrir des fonctionnalités relatives aux médias sociaux et d'analyser notre trafic. Nous partageons des informations sur l'utilisation de notre site avec nos partenaires de médias sociaux, de publicité et d'analyse, qui s'ajoutent à celles collectées via votre usage de leurs services.