Le musée est créé à partir d'un ancien fonds transféré partiellement en 1927 de l'ancienne mairie au donjon du château. En 1944, les collections (peintures) restées à l'Hôtel de Ville sont entièrement détruites, à l'exception du portrait de Chateaubriand par Girodet mis sous protection. En 1950, décision de créer au château un nouveau musée d'Histoire de la ville et de ses grands hommes, dès 1954, dépôts, dons et acquisitions permettent sa mise en place, puis de constituer en 1970, le musée international du Long-Cours Cap-Hornier et enfin d'ouvrir à partir de 1988 une section d'ethnographie régionale permanente sous le nom de musée du pays malouin.