La fonctionnalité de recherche est en construction.
La fonctionnalité de recherche est en construction.

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. ex. Some numerals are expressed as "XNUMX".
Copyrights notice

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. Copyrights notice

Convergence Acceleration via Chebyshev Step: Plausible Interpretation of Deep-Unfolded Gradient Descent Accélération de la convergence via l'étape de Chebyshev : interprétation plausible de la descente de gradient profondément dépliée

Satoshi TAKABE, Tadashi WADAYAMA

  • Vues en texte intégral

    0

  • Citer

Résumé:

Le dépliage profond est une technique d’apprentissage profond prometteuse, dont l’architecture réseau repose sur l’expansion de la structure récursive des algorithmes itératifs existants. Bien que le déploiement profond réalise une accélération de la convergence, ses aspects théoriques n’ont pas encore été révélés. Cette étude détaille l'analyse théorique de l'accélération de convergence dans la descente de gradient profondément dépliée (DUGD) dont les paramètres entraînables sont des tailles de pas. Nous proposons une interprétation plausible des paramètres de taille de pas appris dans DUGD en introduisant le principe des étapes de Chebyshev dérivées des polynômes de Chebyshev. L'utilisation des étapes de Chebyshev dans la descente de gradient (GD) nous permet de délimiter le rayon spectral d'une matrice régissant la vitesse de convergence de GD, conduisant à une limite supérieure stricte du taux de convergence. Les résultats numériques montrent que les étapes de Chebyshev expliquent bien numériquement les paramètres de taille de pas appris dans DUGD.

Publication
IEICE TRANSACTIONS on Fundamentals Vol.E105-A No.8 pp.1110-1120
Date de publication
2022/08/01
Publicisé
2022/01/25
ISSN en ligne
1745-1337
DOI
10.1587/transfun.2021EAP1139
Type de manuscrit
PAPER
Catégories
Analyse numérique et optimisation

Auteurs

Satoshi TAKABE
  Tokyo Institute of Technology
Tadashi WADAYAMA
  Nagoya Institute of Technology

Mots-clés

Table des matières