Das von Peter von Savoyen im Herzen der Altstadt von Yverdon-les-Bains errichtete Schloss stammt aus dem 13. Jh. Es wurde als Wehrbau und herrschaftlicher Wohnsitz konzipiert. Heute beherbergt das Gebäude das Historische Museum von Yverdon und Region, das Schweizer Modemuseum und das Pestalozzi-Zentrum.
Das Schloss von Yverdon, das erste bekannte «Carré savoyard» (Vierturmanlage), ist eine militärische Festung, die Peter von Savoyen 1259 errichten liess. Es wurde im Laufe der Jahrhunderte mehrmals umgebaut und liegt heute im Stadtzentrum von Yverdon-les-Bains.
Während der Berner Herrschaft war das Schloss Sitz der Landvögte; einige Säle sind mit üppigen Malereien aus dieser Zeit verziert.
Seit 1798 in Besitz der Eidgenossenschaft beherbergte es zu Beginn des 19. Jahrhunderts den berühmten Pädagogen Johann Heinrich Pestalozzi und dessen Knabeninstitut. Mit seinen Mitarbeitern entwickelte Pestalozzi in diesem pädagogischen Versuchslabor, wie man es wohl nennen muss, eine neuartige Methode. Im Schloss waren noch bis 1974 öffentliche Schulen untergebracht.
Seit 1915 ist es die Heimstätte des umfassenden Museums von Yverdon und Region, das der fast 10000-jährigen Geschichte der Stadt und ihrer Umgebung gewidmet ist. Als dessen Kernstück besitzt das Schloss eine Geschichte, die über die Landesgrenzen hinaus bekannt ist.
Neben Wechselausstellungen des Schweizer Modemuseums beherbergt es auch das Dokumentations- und Forschungszentrum Pestalozzi, ein Theater und mehrere Räume, die gemietet werden können.