La fonctionnalité de recherche est en construction.
La fonctionnalité de recherche est en construction.

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. ex. Some numerals are expressed as "XNUMX".
Copyrights notice

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. Copyrights notice

Natural Gradient Descent of Complex-Valued Neural Networks Invariant under Rotations Descente de gradient naturel de réseaux de neurones à valeurs complexes invariants sous rotations

Jun-ichi MUKUNO, Hajime MATSUI

  • Vues en texte intégral

    0

  • Citer

Résumé:

La descente de gradient naturel est une méthode d'optimisation des réseaux de neurones à valeur réelle proposée du point de vue de la géométrie de l'information. Nous présentons ici une extension de la descente de gradient naturelle vers des réseaux de neurones à valeurs complexes. Notre idée est d’utiliser l’extension hermitienne de la matrice d’information de Fisher. De plus, nous généralisons le gradient naturel projeté (PRONG), qui est un algorithme de descente de gradient naturel rapide, aux réseaux de neurones à valeurs complexes. Nous considérons également l'avantage des réseaux de neurones à valeurs complexes par rapport aux réseaux de neurones à valeurs réelles. Une propriété utile des nombres complexes dans le plan complexe est que la rotation est simplement exprimée par la multiplication. En nous concentrant sur cette propriété, nous construisons la fonction de sortie des réseaux de neurones à valeurs complexes, qui est invariante même si l'entrée est modifiée à sa valeur pivotée. Ensuite, notre réseau neuronal aux valeurs complexes peut apprendre les données pivotées sans augmentation des données. Enfin, grâce à la simulation de la reconnaissance de caractères en ligne, nous démontrons l'efficacité de l'approche proposée.

Publication
IEICE TRANSACTIONS on Fundamentals Vol.E102-A No.12 pp.1988-1996
Date de publication
2019/12/01
Publicisé
ISSN en ligne
1745-1337
DOI
10.1587/transfun.E102.A.1988
Type de manuscrit
PAPER
Catégories
Réseaux de neurones et bio-ingénierie

Auteurs

Jun-ichi MUKUNO
  Kogakuin University
Hajime MATSUI
  Toyota Technological Institute

Mots-clés

Table des matières