La fonctionnalité de recherche est en construction.
La fonctionnalité de recherche est en construction.

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. ex. Some numerals are expressed as "XNUMX".
Copyrights notice

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. Copyrights notice

REAP: A Method for Pruning Convolutional Neural Networks with Performance Preservation REAP : une méthode d'élagage des réseaux de neurones convolutifs avec préservation des performances

Koji KAMMA, Toshikazu WADA

  • Vues en texte intégral

    0

  • Citer

Résumé:

Cet article présente une méthode d'élagage, Reconstruction Error Aware Pruning (REAP), pour réduire la redondance des modèles de réseaux neuronaux convolutifs afin d'accélérer leur inférence. Dans REAP, nous avons les étapes suivantes : 1) Élaguer les canaux dont les sorties sont redondantes et peuvent être reconstruites à partir des sorties des autres canaux dans chaque couche convolutive ; 2) Mettre à jour les poids des canaux restants par la méthode des moindres carrés afin de compenser l'erreur provoquée par l'élagage. C'est ainsi que nous compressons et accélérons les modèles initialement volumineux et lents avec peu de dégradation. La capacité de REAP à maintenir les performances du modèle nous fait gagner beaucoup de temps et de travail pour recycler les modèles élagués. Le défi de REAP réside dans le coût de calcul nécessaire à la sélection des canaux à élaguer. Pour sélectionner les canaux, nous devons résoudre un grand nombre de problèmes de moindres carrés. Nous avons développé un algorithme efficace basé sur le système biorthogonal pour obtenir les solutions de ces problèmes des moindres carrés. Dans les expériences, nous montrons que REAP peut effectuer un élagage avec un moindre sacrifice des performances du modèle que plusieurs méthodes existantes, y compris celle qui était auparavant à la pointe de la technologie.

Publication
IEICE TRANSACTIONS on Information Vol.E104-D No.1 pp.194-202
Date de publication
2021/01/01
Publicisé
2020/10/02
ISSN en ligne
1745-1361
DOI
10.1587/transinf.2020EDP7049
Type de manuscrit
PAPER
Catégories
Biocybernétique, Neuroinformatique

Auteurs

Koji KAMMA
  Wakayama University
Toshikazu WADA
  Wakayama University

Mots-clés

Table des matières