Le Fraisse est entré dans notre famille en 1220 par le mariage de Demoiselle Quitterie du Fraisse, dernière descendante de la famille du même nom, avec Urbain des Monstiers.

Le Fraisse du XIII° siècle était un " logis noble ", dont il ne reste presque rien aujourd'hui. Il fut brûlé en 1356 par le fameux Prince Noir. Il fut reconstruit après la Guerre de Cent Ans par Sieur Jacques des Monstiers. C'est le " vieux château " du XV° siècle formant la partie droite de l'ensemble des bâtiments.

La partie principale, du XVIème siècle, fut construite par Jean des Monstiers, évêque de Bayonne et ambassadeur des rois François 1er et Henri II auprès de Charles Quint.

Passionné par la Renaissance, il fait appel à l'architecte italien Sebastiano Serlio pour agrandir la maison familiale.