Plus tard, de 1485 à 1498, Jacques d'Amboise, dignitaire religieux et mécène décide de faire un nouveau bâtiment de l'hôtel de sorte qu'il soit tel qu'on le connaît aujourd'hui. Au cours de la
Révolution, cependant, l'hôtel de Cluny subit de nombreux dommages. Il fut, toutefois racheté et partagé entre plusieurs propriétaires particuliers. En 1832, Alexandre du Sommerard,
archéologue et conseiller à la
Cour des Comptes s'installe à l'hôtel de Cluny, puisque, passionné par l'époque moyenâgeuse, y amène sa collection d'art. Cette dernière sera rachetée par l'Etat en 1843 et Alexandre du Sommerard aura l'honneur d'être nommé Premier Conservateur du musée de Cluny. C'est alors qu'en 1856, le musée de Cluny est reconnu monument historique tout comme les anciens thermes, en 1862. Il faut, cependant, savoir qu'on a découvert que le musée de Cluny avait été bel et bien construit sur des anciens thermes seulement en 1819. Aujourd'hui, la collection du musée de Cluny est toujours celle d'origine, bien qu'elle fût complétée au fil du temps. Le musée de Cluny s'étend sur 3500 mètres carrés dont 2000 sont exploités pour les expositions. Il possède au total 23 000 oeuvres et objets et en expose 2300.