Dans ses premiers rôles, il incarne des personnages historiques dans des films comme « Le Capitaine Fracasse » de Pierre Gaspard-Huit, « Le Masque de fer » d'Henri Decoin, « Cartouche » de
Philippe de Broca et la série des « Angélique » de Bernard Borderie, avec Michèle Mercier et Robert Hossein. En 1960 il épouse Alexandra Moscwa, qui lui donne deux enfants, Marie et Julien. Il aura trois autres enfants avec Nicole Garcia : Pierre, Clémence et Louise. Jean Rochefort rencontre un vrai succès dans le registre de la comédie. Le réalisateur Yves Robert, avec lequel il tournera sept films, a mis à profit son talent dans des comédies cultes comme « Un éléphant, ça trompe énormément » et sa suite, « Nous irons tous au paradis » ou encore « le Grand Blond avec une chaussure noire » Avec Patrice Lecomte, il tournera également sept films avec de très beaux rôles comme dans « Tandem », « Tango », « Les Grands Ducs », « Le Mari de la coiffeuse » ou « Ridicule ». Il obtient coup sur coup deux Césars : celui du Meilleur acteur pour « Le Crabe tambour », célèbre film de guerre de Pierre Schoendorffer et le César du meilleur second rôle pour " Que la fête commence ".