Victor Gautron du Coudray (Nevers 1868-1966) offre à la ville une partie de ses collections, qui sont abritées à l'Hôtel Adam. Des dons et legs viennent compléter ce fonds très disparate . Le musée devient municipal en 1966, un conservateur est nommé en 1980. En 1982, l'important mobilier des fouilles du prieuré clunisien est dévolu au musée . Ces collections s'accroissent à chaque campagne d'archéologie préalable à la réhabilitation du prieuré.