Schloss Saint-Maire ganz im Norden des Altstadthügels war seit jeher Sitz der regionalen Herrscher. Es wurde von 1400 bis 1430 von den Bischöfen von Lausanne als neuer Sitz erbaut. Sie wählten dazu jenen Standort, der möglichst weit von der Unterstadt und ihrer ausgelassenen Bürgerschaft entfernt war.
Das Gebäude in der massiven Bauweise der damaligen Stadtschlösser weist auch heute noch darauf hin, dass es Wohn- und militärischen Zwecken zugleich diente. Da die Berner das Schloss 1536 nicht den Lausannern überlassen wollten, brachten sie dort ihren Landvogt unter. Seit 1803 ist es Sitz der Kantonsregierung. Besonders bemerkenswert ist das Wehrgeschoss des Schlosses. Es besteht aus Ziegeln und ist mit Zinnen und Maschikulis versehen. Wahrscheinlich wurde es von italienischen Meistern auf Einladung von Bischof Guillaume de Challant (1406-1431) errichtet, der selbst aus dem Aostatal stammte. Dieser Architekturtyp hat bekannte Vorläufer wie die Festung von Verona und nicht weniger berühmte Nachfolger wie den Moskauer Kreml.