Il sera ensuite en 1973 rédacteur du service Etranger de 1973 de RMC. À partir de 1977, il devient rédacteur en chef adjoint de RMC. C'est en 1980 qu'Olivier Mazerolle entre à
RTL où il restera pendant 21 ans de carrière. Dès son arrivée au sein de RTL, il devient le directeur de service étrange de la station de la rue Bayard. Il devient ensuite six ans plus tard le directeur de l'information de la station, avant d'être promu en mars 2000 directeur général adjoint de RTL. En 1993, Olivier Mazerolle démontre ses talents d'animateur dans l'émission « Le Grand Jury » en partenariat avec
LCI et
Le Monde. Cette tribune lui permettra d'interviewer les personnes les plus influentes du paysage politique français. De 1996 à 2001, Olivier Mazerolle a également officié dans une émission quotidienne où il interviewait chaque matin sur RTL une personnalité politique. En 2001, RTL traverse une crise importante. La station est en perte de vitesse. Olivier Mazerolle est alors remercié de ses fonctions de directeur général adjoint de RTL. En mars 2001, Olivier Mazerolle arrive sur
France 2 en tant que directeur de l'information.