Published May 7, 2020 | Version v1
Miscellaneous Restricted

Development of a computing farm with Cloud Computing on GPU

Description

All the work in this thesis has been developed in the context of the Cherenkov Telescope Array (CTA), which is going to be the major next-generation observatory for ground-based very-high-energy gamma-ray astronomy. The plan for this work is to use GPUs and Cloud Computing in order to speed up the computing demanding tasks, developing and optimizing data analysis pipelines. The thesis consists on two main parts: the first one is dedicated to the estimation of the future performances of CTA towards the observation of violent phenomena such as those generating Gamma Ray Bursts and Gravitational Waves, with a initial work done for the creation of the models for the First CTA Data Challenge. The second part of the thesis is related to the development of the pipelines for the reconstruction of the low-level data coming from the Monte Carlo simulations using the software library called ctapipe. In chapter 1 I go into the details of the CTA project, the telescopes and the performances of the array, together with the methods used to derive them from Monte Carlo simulations. The science goals of CTA and the Key Science Projects (KSPs) will be covered in chapter 2, with a focus on Gamma Ray Bursts and the follow-up of Gravitational Waves events. The work done for the First CTA Data Challenge (DC-1) is presented in chapter 3. More than 500 extragalactic sources have been modelled combining information from different catalogues in order to create a population of AGNs. This Challenge has been important both to involve more people in the analysis of CTA data and to compute the observation time needed by the different KSP. The simulations for the gravitational waves and gamma-ray bursts Consortium papers have been created with the ctools-pipe pipeline (presented in chapter 4), implemented around the libraries ctools and gammalib. The pipeline is composed of two main parts: the task to be executed (background simulation, model creation and detection) and in which computing centre. The second part of the thesis is focused on the development and optimization of the analysis pipelines to be used for the event reconstruction of simulated raw data and for the visualization of the events in a 3D space. This analyses have been performed using ctapipe, a framework for prototyping the low-level data processing algorithms for CTA. The structure of the library is presented in chapter 5 together a focus on the reconstruction methods that are implemented in ctapipe, including the so called ImPACT. This method uses a template of images created from the Monte Carlo simulations and a seed from the standard reconstruction method to fit between the templates to find a better estimation of the shower parameters. The time profiling and the strategies adopted to optimize the ImPACT pipeline are presented in chapter 6. The implementation of the a pipeline for the analysis of the Large Size Telescope observing in monoscopic mode and its GPU implementation with PyTorch is also presented. ctapipe has also been used and developed to estimate the performances of CTA when observing using the 'divergent pointing' mode, in which the pointing directions are slightly different with respect to the parallel pointing mode, so that the final hyper field-of-view of all the telescopes is larger with respect to the parallel pointing mode. The angular and energy resolutions and also the sensitivity are worse in this scenario, but having a wider hyper field-of-view can be good for other topics, such are searching for transient sources. The modifications to the reconstruction code introduced in ctapipe and some angular resolution plots for the simulated point source gammas are presented in chapter 7. The results presented in this thesis are a demonstration of the usage of advanced software techniques in very high energy astrophysics. (author)

Abstract (French)

Tous les travaux de cette these ont ete developpes dans le contexte du Cherenkov Telescope Array (CTA), qui sera le principal observatoire de la prochaine generation pour l'astronomie gamma a tres haute energie au sol. Le plan de ce travail est d'utiliser les GPU et le Cloud Computing afin d'accelerer les taches de calcul exigeantes, en developpant et en optimisant les pipelines d'analyse de donnees. La these se compose de deux parties: la premiere est destinee a l'estimation des performances du CTA pour l'observation de phenomenes violents tels que ceux generant des sursauts de rayons gamma (GRB) et des ondes gravitationnelles, avec un premier travail effectue pour la creation des modeles pour le premier CTA Data Challenge (DC1). La deuxieme partie de la these est liee au developpement des pipelines pour la reconstruction des donnees de bas niveau provenant des simulations de Monte Carlo. Dans le chapitre 1, je presente les details du projet CTA, les telescopes et les performances du reseau, ainsi que les methodes utilisees pour les deriver des simulations de Monte Carlo. Les objectifs scientifiques du CTA et les Key Science Projects (KSP) seront couverts dans le chapitre 2, avec un accent sur les GRB et le suivi des evenements lies aux ondes gravitationnelles. Plus de 500 AGNs ont ete modelisees pour le DC1, qui a ete important a la fois pour impliquer davantage de personnes dans l'analyse des donnees du CTA et pour calculer le temps d'observation necessaire aux differents KSP. Les simulations pour les papier du Consortium sur les ondes gravitationnelles et les sursauts gamma ont ete crees avec le pipeline ctools-pipe (presente au chapitre 4), mis en oeuvre autour des bibliotheques ctools et gammalib. Le pipeline est compose de deux parties: la tache a executer (simulation de fond, creation de modele et la partie qui effectue la detection) et dans quel centre de calcul. La deuxieme partie de la these est axee sur le developpement et l'optimisation des pipelines d'analyse a utiliser pour la reconstruction d'evenements a partir de donnees brutes simulees et pour la visualisation des evenements dans un espace 3D. Ces analyses ont ete realisees a l'aide de ctapipe, un framework pour le prototypage des algorithmes de traitement de donnees de bas niveau pour CTA. La structure de la bibliotheque est presentee dans le chapitre 5, avec un accent particulier sur les methodes de reconstruction qui sont mises en oeuvre dans ctapipe, y compris le systeme ImPACT. Cette methode utilise un modele d'images cree a partir des simulations de Monte Carlo et une 'seed' de la methode de reconstruction standard pour s'adapter entre les modeles afin de trouver une meilleure estimation des parametres de la gerbe atmospherique. Le profilage temporel et les strategies adoptees pour optimiser le pipeline ImPACT sont presentes au chapitre 6. L'implementation d'un pipeline pour l'analyse de l'observation du Large Size Telescope en mode monoscopique et son implementation GPU avec PyTorch est egalement presentee. ctapipe a egalement ete utilise et developpe pour estimer les performances du CTA lors d'observations en mode 'pointage divergent', dans lequel les directions de pointage sont legerement differentes par rapport au mode de pointage parallele, de sorte que l'hyper champ de vision final de tous les telescopes est plus grand par rapport au mode de pointage parallele. Les resolutions angulaires et energetiques ainsi que la sensibilite sont moins bonnes dans ce scenario, mais le fait d'avoir un hyper field-of-view plus large peut etre benefique pour d'autres sujets, comme la recherche de sources transitoires. Les modifications du code de reconstruction introduites dans ctapipe et certains traces de resolution angulaire pour les gammas de source ponctuelle simules sont presentes au chapitre 7. Les resultats presentes dans cette these sont une demonstration de l'utilisation de techniques logicielles avancees en astrophysique de tres haute energie. (auteur)

Files

Restricted

The record is publicly accessible, but files are restricted to users with access.

Additional details

Additional titles

Original title (English)
Developpement d'une ferme informatique utilisant le Cloud Computing sur GPU

Publishing Information

Imprint Pagination
172 p.
Report number
FRNC-TH--12279

Optional Information

Notes
109 refs.; Available from the INIS Liaison Officer for France, see the INIS website for current contact and E-mail addresses