Temporal computations in recurrent neural networks
Opérations temporelles dans des réseaux récurrents
Résumé
Neural activity in awake animals exhibits a vast range of timescales giving rise to behavior that can adapt to a constantly evolving environment. How are such complex temporal patterns generated in the brain, given that individual neurons function with membrane time constants in the range of tens of milliseconds? How can neural computations rely on such activity patterns to produce flexible temporal behavior? One hypothesis posits that long timescales at the level of neural network dynamics can be inherited from long timescales of underlying biophysical processes at the single neuron level, such as adaptive ionic currents and synaptic transmission. We analyzed large networks of randomly connected neurons taking into account these slow cellular process, and characterized the temporal statistics of the emerging neural activity. Our overarching result is that the timescales of different biophysical processes do not necessarily induce a wide range of timescales in the collective activity of large recurrent networks. Conversely, complex temporal patterns can be generated by structure in synaptic connectivity. In the second chapter of the dissertation, we considered a novel class of models, Gaussian-mixture low-rank recurrent networks, in which connectivity structure is characterized by two independent properties, the rank of the connectivity matrix and the number of statistically defined populations. We show that such networks act as universal approximators of arbitrary low-dimensional dynamical systems, and therefore can generate temporally complex activity. In the last chapter, we investigated how dynamical mechanisms at the network level implement flexible sensorimotor timing tasks. We first show that low-rank networks trained on such tasks generate low-dimensional invariant manifolds, where dynamics evolve slowly and can be flexibly modulated. We then identified the core dynamical components and tested them in simplified network models that carry out the same flexible timing tasks. Overall, we uncovered novel dynamical mechanisms for temporal flexibility that rely on minimal connectivity structure and can implement a vast range of computations.
L’activité neuronale chez l’animal présente une vaste gamme d’échelles temporelles qui donne lieu à des comportements pouvant s’adapter à un environnement en constante évolution. Comment ces motifs temporels complexes sont-ils générés, sachant que les neurones individuels fonctionnent avec une constante de temps de membrane de l’ordre de quelques dizaines de millisecondes ? Comment les opérations neuronales s’appuient-elles sur ces motifs d’activité pour produire des comportements temporels flexibles ? Une des hypothèses possibles pour l'émergence de dynamiques lentes au niveau de l’activité neuronale est que celles-ci soient héritées de processus biophysiques sous-jacents au niveau des neurones individuels, tels que les courants ioniques d’adaptation et la transmission synaptique. Dans la première partie de cette thèse, nous analysons des réseaux de neurones connectés de façon aléatoire qui prennent en compte ces processus cellulaires lents et nous caractérisons les statistiques temporelles de l’activité neuronale émergente. Notre conclusion principale est que les échelles temporelles des différents processus biophysiques n’entraînent pas nécessairement une grande variété d’échelles temporelles dans l’activité collective des réseaux de neurones. D’autre part, des motifs d’activité complexes peuvent être générés par des structures spécifiques de connectivité synaptique. Dans le deuxième chapitre de cette thèse, nous considérons une nouvelle classe de modèles, des réseaux récurrents de bas rang à mixture de gaussiennes. La structure de la connectivité y est caractérisée par deux propriétés indépendantes : le rang de la matrice de connectivité et le nombre de populations définies par les statistiques de la connectivité. Nous montrons que ces réseaux agissent comme des approximateurs universels des systèmes dynamiques et peuvent en conséquence générer des activités temporelles complexes. Dans le dernier chapitre, nous étudions les mécanismes dynamiques au niveau de réseaux de neurones à la base de tâches sensorielles et motrices qui exigent des calculs temporels flexibles. On montre d’abord que des réseaux de bas rang entraînés sur ces tâches donnent lieu à des variétés invariantes de basse dimensionnalité, où la dynamique évolue lentement et peut être modulée de manière flexible. Nous identifions ensuite les composantes dynamiques clés et les validons dans des modèles de réseaux simplifiés qui effectuent les mêmes tâches temporelles. Globalement, nous avons découvert de nouveaux mécanismes dynamiques générant des comportements temporels flexibles, qui sont fondés sur une structure de connectivité minimale et peuvent implémenter une ample gamme de tâches.
Origine : Version validée par le jury (STAR)