Redistribution de données à travers un réseau à haut débit
Résumé
We consider here the case of a code-coupling application consisting of two different programs, located on two different clusters linked by a high speed network, which regularly exchange data through a data redistribution. We study how to achieve this redistribution in an efficient way while minimizing transfer time and network congestion. We use to reach this goal a modeling of the problem using bipartite graphs. The chosen model allows us to take into account communications setup delays, the different available bandwidths and impose a limit of one simultaneous communication on each network interface (1-port model) and k simultaneous communications on the backbone. We execute an experimental validation of this model and use it to develop two messages scheduling algorithms. We show that each of them is an approximation algorithm thus guaranteeing results with execution times no worse than 8/3 times optimal times. We conclude the study of these algorithms by experiments showing good performances in practice. Finally, we extend the initial problem to the case of heterogeneous clusters : we show that this case imposes us to lift the one-port constraint in order to achieve performance and we show how to adapt our algorithms accordingly. We also study the case of redistributions executed under steady state on networks with more complex topologies allowing local communications.
Nous considérons ici le problème où deux programmes différents situés sur deux grappes d'ordinateurs distantes, reliées par un réseau à haut débit, forment un couplage de code et échangent régulièrement des données. Un tel échange s'effectue par une redistribution de données. Nous étudions comment effectuer une telle redistribution le plus efficacement possible en minimisant temps de communication et congestion du réseau. Nous utilisons pour ce faire, une modélisation du problème à l'aide de graphes bipartis. Le modèle choisi permet une prise en compte du délai d'initialisation des communications, des différentes bandes passantes et impose une limite d'une communication simultanée par interface réseau (modèle 1-port) et de k communications simultanées sur la dorsale. Nous effectuons une validation expérimentale du modèle puis l'utilisons pour développer deux algorithmes d'ordonnancement des communications. Nous montrons que chacun d'entre eux est un algorithme d'approximation garantissant un temps d'exécution dans le pire des cas 8/3 fois plus élevé que le temps optimal. Nous concluons l'étude de ces algorithmes par une série d'expériences démontrant de bonnes performances en pratique. Enfin, nous étendons le problème initial au cas de grappes hétérogènes : ce cas imposant de sortir du modèle 1-port, nous montrons comment modifier nos algorithmes pour en tirer parti. Nous étudions également le cas de redistributions exécutées en régime permanent sur un réseau d'une topologie plus complexe autorisant les communications locales.
Domaines
Autre [cs.OH]| Origine | Fichiers produits par l'(les) auteur(s) |
|---|