On le voit notamment fréquenter le Toulouse Football Club, où il restera 7 ans après avoir fait école à l'AS Toulouse Mirail. Il intègre ce dernier, alors qu'il n'est encore qu'une jeune pousse de 5 ans et y passe trois ans. Philippe Mexès donne un coup de pouce à sa formation en rejoignant, en 1997, l'Association Jeunesse Auxerroise. Durant son séjour de sept ans au sein de cette formation, le joueur fait bonne impression sur l'ensemble de ses mentors. Ceux-ci ne manquent pas de noter la maturité et le potentiel de Philippe Mexès, alors qu'il assure le poste de libéro. Il brigue la très enviée Coupe Gambardella et le remporte effectivement en 1999. Ce qui lui donne entre autres, le ticket d'entrée en Ligue 1. Avec l'
AJ Auxerre, le footballeur participe à son premier match en D1, contre Troyes, le 10 novembre 1999.
Philippe Mexès à Auxerre
Il lui faut toutefois patienter un peu avant d'inscrire le premier but de sa carrière, lors de la rencontre Auxerre-
Monaco, le 8 décembre 2001. Se faisant très présent dans le corps de défense de son club dès le début de la saison 2000- 2001, Philippe Mexès est en fait une des valeurs sûres de cette formation.