Reconstruit au XIVème siècle sur un édifice plus ancien,
le château de La Ferté-Vidame est acquis en 1635 par le
duc de Saint-Simon, favori de Louis XIII. Son fils, le
célèbre mémorialiste, Louis de Rouvroy, duc de
Saint-Simon, logea dans ce château qui a conservé son
aspect médiéval de forteresse cantonnée de huit grosses
tours. Il y écrivit la plus grande partie de ses Mémoires
et, vers 1718, fit construire le bâtiment des écuries
(actuel « petit château »). Le château passa ensuite de
main en main et souffrit de partages ou de mauvais
entretiens. En 1945, la partie restante est vendue au
Ministère de la Justice et l'État cèda le château au
département qui entreprend des travaux pour le rendre
accessible au public. En 2020, la communauté de communes
des Forêts du Perche finance l'ouverture d'un musée
Saint-Simon sur 150 m2 d'exposition, abrité par le
conseil départemental dans le pavillon Saint-Dominique à
l'entrée du parc. La « Maison Saint-Simon » pourrait
rejoindre à terme le réseau des "Maisons des Illustres".
