Le musée est situé dans une ancienne halle aux blés construite dans la première moitié du XIXe siècle sur un plan carré avec au centre une cour de 30m de côté. De 1967 à 1970, ce bâtiment a été réaménagé pour permettre la présentation des oeuvres de la donation George et Adèle Besson. Dans la cour intérieure, l'architecte Louis Miquel (1913-1986), adepte des principes de Le Corbusier, a édifié une succession de plans inclinés scandés de paliers qui constituent une spirale carrée irrégulière et ascendante. Le matériau choisi est le béton brut de décoffrage.