The Brain’s Representations May Be Compatible With Convolution-Based Memory Models

    loading  Checking for direct PDF access through Ovid

Abstract

Convolution is a mathematical operation used in vector-models of memory that have been successful in explaining a broad range of behaviour, including memory for associations between pairs of items, an important primitive of memory upon which a broad range of everyday memory behaviour depends. However, convolution models have trouble with naturalistic item representations, which are highly auto-correlated (as one finds, e.g., with photographs), and this has cast doubt on their neural plausibility. Consequently, modellers working with convolution have used item representations composed of randomly drawn values, but introducing so-called noise-like representation raises the question how those random-like values might relate to actual item properties. We propose that a compromise solution to this problem may already exist. It has also long been known that the brain tends to reduce auto-correlations in its inputs. For example, centre-surround cells in the retina approximate a Difference-of-Gaussians (DoG) transform. This enhances edges, but also turns natural images into images that are closer to being statistically like white noise. We show the DoG-transformed images, although not optimal compared to noise-like representations, survive the convolution model better than naturalistic images. This is a proof-of-principle that the pervasive tendency of the brain to reduce auto-correlations may result in representations of information that are already adequately compatible with convolution, supporting the neural plausibility of convolution-based association-memory.

La convolution est une opération mathématique utilisée dans les modèles-vecteurs de la mémoire s’étant avérés fructueux pour expliquer une vaste gamme de comportements, dont la mémoire par associations entre paires d’items, une prémisse importante de la mémoire à partir de laquelle une grande variété de comportements de mémoire de tous les jours dépendent. Or, les modèles de convolution ont de la difficulté avec la représentation d’items naturalistes, lesquels sont hautement auto-corrélés (tel qu’on peut voir par ex. sur des photographies), et cela remettrait en cause leur plausibilité neurale. Par conséquent, les modeleurs travaillant avec la convolution ont utilisé les représentations d’items composées de valeurs aléatoires, mais l’introduction de représentations s’apparentant au bruit soulève la question à savoir comment ces valeurs d’apparence aléatoire pourraient être reliées aux réelles propriétés d’item. Nous proposons qu’il existe probablement déjà une solution de compromis à ce problème. Il est aussi connu depuis longtemps que le cerveau tend à réduire les auto-corrélations au niveau de ses entrées. Par exemple, les cellules du centre-périphérie de la rétine se rapprochent d’une différence de gaussiennes. Cela avantage la périphérie mais transforme aussi les images naturelles en images ressemblant à ce qu’on qualifie statistiquement de bruit de fond. Nous montrons comment les images transformées par différences de gaussiennes, même si non optimales en comparaison aux représentations s’apparentant au bruit, survivent davantage au modèle de convolution que les images naturalistes. Ceci est démonstration du principe que la tendance généralisée du cerveau à réduire les auto-corrélations pourrait résulter de représentations de l’information étant déjà adéquatement compatibles avec la convolution, venant appuyer la plausibilité neurale de la mémoire associative basée sur la convolution.

Related Topics

    loading  Loading Related Articles