La fonctionnalité de recherche est en construction.
La fonctionnalité de recherche est en construction.

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. ex. Some numerals are expressed as "XNUMX".
Copyrights notice

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. Copyrights notice

A Lightweight Reinforcement Learning Based Packet Routing Method Using Online Sequential Learning Une méthode légère de routage de paquets basée sur l'apprentissage par renforcement utilisant l'apprentissage séquentiel en ligne

Kenji NEMOTO, Hiroki MATSUTANI

  • Vues en texte intégral

    0

  • Citer

Résumé:

Les protocoles de routage simples existants (par exemple, OSPF, RIP) présentent certains inconvénients : ils sont rigides et sujets à la congestion en raison de la concentration des paquets sur des routeurs particuliers. Pour résoudre ces problèmes, des méthodes de routage de paquets utilisant l’apprentissage automatique ont été proposées récemment. Par rapport à ces algorithmes, les méthodes basées sur l’apprentissage automatique peuvent choisir intelligemment un chemin de routage en apprenant des itinéraires efficaces. Cependant, les méthodes basées sur l’apprentissage automatique présentent un inconvénient en termes de temps de formation. Nous nous concentrons ainsi sur un algorithme de machine learning léger, OS-ELM (Online Sequential Extreme Learning Machine), pour réduire le temps de formation. Bien que des travaux antérieurs sur l’apprentissage par renforcement utilisant OS-ELM existent, ils présentent un problème de faible précision d’apprentissage. Dans cet article, nous proposons OS-ELM QN (Q-Network) avec un tampon de relecture d'expérience priorisé pour améliorer les performances d'apprentissage. Elle est comparée à une méthode de routage de paquets basée sur un apprentissage par renforcement profond utilisant un simulateur de réseau. Les résultats expérimentaux montrent que l’introduction du tampon de relecture d’expérience améliore les performances d’apprentissage. OS-ELM QN atteint une accélération 2.33 fois supérieure à celle d'un DQN (Deep Q-Network) en termes de vitesse d'apprentissage. Concernant la latence de transfert de paquets, les OS-ELM QN sont comparables ou légèrement inférieurs aux DQN alors qu'ils sont meilleurs que les OSPF dans la plupart des cas puisqu'ils peuvent répartir les congestions.

Publication
IEICE TRANSACTIONS on Information Vol.E106-D No.11 pp.1796-1807
Date de publication
2023/11/01
Publicisé
2023/08/15
ISSN en ligne
1745-1361
DOI
10.1587/transinf.2022EDP7231
Type de manuscrit
PAPER
Catégories
Système d'ordinateur

Auteurs

Kenji NEMOTO
  Keio University
Hiroki MATSUTANI
  Keio University

Mots-clés

Table des matières