Les rayons cosmiques d'ultra-haute energie (energie superieure a 10¹⁸ eV) peuvent produire des gammas ultra energetiques via leurs interactions avec les particules presentes dans les environnements de leurs sources, ou avec les photons de basse energie constituant des fonds diffus dans l'Univers lors de leur propagation vers la Terre. La detection de tels photons cosmogeniques permettrait de sonder davantage les rayons cosmiques de tres haute energie car leur flux depend des caracteristiques des sources ainsi que de la nature des noyaux parents. D'autre part, les photons d'ultra haute energie pourraient egalement sonder de la nouvelle physique, car leur detection pourrait montrer la presence de matiere noire composee de particules super lourdes se desintegrant en photons. Aux energies les plus hautes, les rayons cosmiques et les photons sont mesures grace aux gerbes atmospheriques produites lors de leur interaction dans l'atmosphere terrestre. Les signatures cles permettant de distinguer les gerbes de photons du fond dominant du aux hadrons sont une plus grande profondeur atmospherique du maximum de la gerbe (X_max) et un nombre plus faible de muons. Ces deux observables peuvent etre mesurees a l'Observatoire Pierre Auger, qui combine, dans un instrument hybride, un detecteur de fluorescence (FD) et un reseau au sol de detecteurs de particules (SD). Dans les evenements hybrides, le FD mesure X_max, tandis que le SD permet d'estimer le contenu en muons. Dans cette these, developpee au sein de la Collaboration Auger, nous avons concu une nouvelle variable sensible a la masse, F_μ, liee au contenu muonique de la gerbe, en exploitant la propriete d'universalite des gerbes atmospheriques, en combinaison avec la reconstruction des evenements hybrides. Cette nouvelle variable est ensuite combinee avec X_max, l'observable sensible a la masse par excellence, dans une methode d'analyse qui augmente le pouvoir de separation entre photons et hadrons primaires afin de pouvoir identifier des photons d'energies au-dela de 10¹⁸ eV. Dans le chapitre 1, nous discutons de la phenomenologie des rayons gamma d'ultrahaute energie, en termes de leur production et de leur propagation, ainsi que du principe de leur detection par la discrimination entre les gerbes atmospheriques generees par des photons et celles produites par des hadrons. Le chapitre 2 se concentre sur l'Observatoire Pierre Auger, decrivant ses caracteristiques techniques et une selection des principaux resultats obtenus en plus de 15 ans de fonctionnement. Dans le chapitre 3, nous expliquons le concept d'universalite des gerbes atmospheriques et comment il est applique pour construire un modele, base sur cette universalite, des signaux dans les detecteurs du reseau au sol. Le chapitre 4 introduit la premiere partie de ce travail de these: la construction des simulations et de l'ensemble des donnees qui sont utilisees dans les chapitres suivants. Une attention particuliere est accordee a la procedure de simulation et a la selection des evenements. Dans le chapitre 5, nous utilisons le concept d'universalite, en combinaison avec la reconstruction hybride, pour mettre en place une technique permettant de deriver F_μ a partir du signal enregistre dans les stations SD individuelles. Le potentiel de F_μ comme discriminateur photon-hadron est egalement evalue. Des lors, le chapitre 6 decrit la combinaison de X_max et de F_μ, en utilisant des techniques d'analyse multivariee. Une approche basee sur les donnees pour l'estimation du fond attendu est exploitee pour deriver la selection des photons. Enfin, dans le chapitre 7, la selection des photons est appliquee aux donnees hybrides. Comme aucun photon d'ultra haute energie n'est observe, des limites superieures de leur flux sont obtenues et discutees. (auteur)