Il devient premier adjoint du maire de Belfort en 1997, lorsque Lionel Jospin demande à ses ministres d'éviter le cumul des mandats gouvernementaux et locaux. Il est également président de la communauté d'agglomération belfortaine depuis 1977. En 1984, il est nommé Ministre de l'
Éducation nationale. En 1988, il prend la tête du Ministère de la Défense et en 1997, est nommé Ministre de l'Intérieur. Jean- Pierre Chevènement a la particularité de démissionner des gouvernements. En 1983, quand
Pierre Mauroy commence sa politique d'austérité, il proteste contre cette « parenthèse libérale ». En 1991, alors qu'il est Ministre de la défense, il démissionne pour protester contre l'engagement de l'armée française dans la première guerre du Golfe. En 2000, il est en désaccord avec
Lionel Jospin sur l'avenir de la
Corse et démissionne pour protester contre les « accords de Matignon». Sa carrière politique est d'ailleurs parsemée d'autres prises de position comme quand il dit s'oppose à
Maastricht en 1992 ou dit « non » au referendum pour la
Constitution Européenne en 2005.