Scheduling Compressible Tasks: Application Neural Network Inference - IDEX UCA JEDI Université Côte d'Azur Access content directly
Conference Papers Year : 2024

Scheduling Compressible Tasks: Application Neural Network Inference

Ordonnancement avec des tâches compressibles : Application à l'inférence de réseaux neuronaux

Abstract

Avec l’avènement et l’utilisation croissante du Machine Learning as a Service, les systèmes de cloud et de réseau offrent désormais la possibilité de déployer des tâches de ML sur des clusters hétérogènes. Les opérateurs de réseaux et de clouds doivent ensuite programmer ces tâches, en déterminant à la fois quand et sur quels appareils les exécuter. Parallèlement, plusieurs solutions, telles que la compression de réseaux neuronaux, ont été proposées pour construire de petits modèles pouvant fonctionner sur un matériel avec des ressources limitées. Ces solutions permettent de choisir la taille du modèle au moment de l’inférence en fonction du temps de traitement désiré sans avoir à ré-entraîner le réseau. Dans ce travail, nous considérons le problème DSCT (Deadline Scheduling with Compressible Tasks), un nouveau problème d’ordonnancement avec deadlines dans lequel les tâches peuvent être compressées. Chaque tâche présente un compromis entre son niveau de compression (et donc son temps de traitement) et son utilité. L’objectif est de maximi- ser l’utilité des tâches. Nous proposons un algorithme d’approximation avec des garanties prouvées pour résoudre le problème. Nous validons son efficacité par des simulations approfondies, en obtenant des résultats presque optimaux.
Fichier principal
Vignette du fichier
Algotel_ 2024.pdf (325.08 Ko) Télécharger le fichier
Origin : Files produced by the author(s)

Dates and versions

hal-04566780 , version 1 (02-05-2024)

Identifiers

  • HAL Id : hal-04566780 , version 1

Cite

Tiago da Silva Barros, Frédéric Giroire, Ramon Aparicio-Pardo, Stéphane Perennes, Emanuele Natale. Scheduling Compressible Tasks: Application Neural Network Inference. AlgoTel 2024 – 26èmes Rencontres Francophones sur les Aspects Algorithmiques des Télécommunications, May 2024, Saint-Briac-sur-Mer, France. ⟨hal-04566780⟩
0 View
0 Download

Share

Gmail Facebook X LinkedIn More