Le Chateau de Chaumont a été construit sur les restes d'une ancienne forteresse féodale. Au XIème siècle celle ci était gardée par Guelduin de Saumur, fidèle des Comtes de Blois contre les Comtes d'Anjou. Au XVème siècle Chaumont appartient à la famille d'Amboise.Pierre d'Amboise ayant adhéré à la Ligue du Bien Public, le Roi de France Louis XI confisque le domaine et fait démanteler le Chateau feodal. Pierre d'Amboise récupéra par la suite son bien et lui et son fils Charles I firent construire à partir de 1469 le chateau actuel.
Les ailes sud et est ont été élevées entre 1501 et 1511. En 1560 Catherine de Médicis le cèda à Diane de Poitiers en échange de Chenonceau. C'est en 1739 que l'aile nord fut détruite pour dégager la vue sur la Loire.