A new approach for neural networks: the scalar distributed representation
Une nouvelle approche pour les réseaux de neurones: la Représentation Scalaire Distribuée
Résumé
Nowadays, neural networks are largely used in signal and image processing. We propose a new neuron model that uses a special coding of its output, which we will call “Scalar Distributed Representation” (SDR). This representation is based on the idea of representing the neuron’s output by a function, and not only by a scalar. We show that SDR produces a non-linear behaviour of connections between neurons. The SDR is described in general and then specialized on practical considerations. We consider the use of SDRfor a Multi-Layer Perceptron, and we propose a learning algorithm.Finally, we validate the model on two applications : dimensionality reduction, and prediction. In both cases,an important benefit is obtained over the classical model.
Les réseaux de neurones sont actuellement d’usage courant en traitement du signal et de l’image. Nous proposons un nouveau modèle de neurone qui utilise un codage particulier de sa sortie que nous nommerons“Représentation Scalaire Distribuée” (RSD). Cette représentation repose sur l’idée de représenter la sortie d’un neurone par une fonction et non par un scalaire. Nous montrons que la RSD induit un comportement non-linéaire des connexions entre neurones. La RSD est décrite dans toute sa généralité, puis particularisée pour sa mise en œuvre pratique. Nous considérons notamment la mise en œuvre de la RSD dans un réseau de neurones de type Perceptron Multi-Couches, et nous proposons un algorithme d’apprentissage. Enfin, nous validons le modèle sur deux applications: la réduction de dimensionnalité et la prédiction. Dans les deux cas, un gain important par rapport au modèle classique est obtenu.
Origine : Fichiers produits par l'(les) auteur(s)
Licence : CC BY - Paternité
Licence : CC BY - Paternité
