Informations

Comment définir « courant » dans un réseau de neurones artificiels ?

Comment définir « courant » dans un réseau de neurones artificiels ?

Comment les neuroscientifiques définissent-ils les densités de courant/courant dans les réseaux de neurones artificiels ?

Supposons que j'ai un réseau profond et que je souhaite étudier sa dynamique/évolution dans le temps pendant la session de formation, quel type de modèle existe-t-il pour étudier le flux ?

Peut-être qu'il y a des informations que je peux extraire des PDE de rétro-propagation ? ou une évolution du graphique $G=(V,E)$ à l'heure.


Réponse courte
Dans les réseaux de neurones artificiels, les courants ne sont pas impliqués, autres que ceux circulant in silico dans votre ordinateur. Au lieu de cela, ces courants sont représentés par des fonctions mathématiques pondérées.

Fond
Réseaux de neurones artificiels appliqués à l'apprentissage automatique (par exemple., deep learning) effectuent des tâches telles que l'extraction automatique de caractéristiques à partir de données brutes, également appelée apprentissage de caractéristiques. Ces modèles sont des algorithmes qui ont peu à voir avec la physiologie de base des neurones. Par conséquent, la densité de courant/courant n'est pas une question d'intérêt. C'est le couplage entre les éléments qui compte, à savoir quelles cellules se couplent à quelles cellules et quelle est la force de cette interaction (Fig. 1).

Un nœud donné [(Fig. 1)] prend la somme pondérée de ses entrées et la fait passer par une fonction d'activation non linéaire. C'est la sortie du nœud, qui devient alors l'entrée d'un autre nœud dans la couche suivante. Le signal circule de gauche à droite et la sortie finale est calculée en effectuant cette procédure pour tous les nœuds. Entraîner ce réseau de neurones profonds signifie apprendre les poids associés à tous les bords.

source : Vers la science

En d'autres termes, il n'y a pas de courant impliqué, seulement des fonctions pondérées.

Réseau neuronal artificiel. source : Vers la science


Voir la vidéo: Le réseau de neurones expliqué simplement - FORMATION DEEP LEARNING #3 (Janvier 2022).