Ils connaissent un petit succès au début des années 1990, la cassette enregistrée dans la cave d'Alexandre se vend à huit exemplaires. Caravage écume pendant quatre ans les bars, les salles des fêtes et autres. David finira par les quitter. Ils passent une annonce pour trouver un nouveau guitariste, en vain. C'est finalement un violoniste qui se présentera. L'aventure Louise Attaque peut commencer. Le groupe Louise Attaque naît à
Paris en 1994, grâce à l'arrivée d'Arnaud Samuel, qui joue du violon, de la guitare et du piano. Le groupe de musique tire son nom de Louise Michel, anarchiste du XIXème siècle, et du groupe de rock américain Violent Femmes. Le premier album de Louise Attaque, sobrement intitulé « Louise Attaque » sort en 1997. Le succès sera collosal. Leur premier album rentre dans l'histoire de la musique en France, et devient la cinquième meilleure vente d'albums de tous les temps en France. Ce sont deux millions et demi d'albums que Louise Attaque écoule, du jamais vu pour un groupe de rock jusqu'alors inconnu en France.