Aujourd’hui inscrit à l’inventaire des monuments historiques, l’édifice a été construit vers l’an mil par quelques moines de l’abbaye de Cluny qui furent missionnés pour fonder un prieuré à Manthes avec son église attenante. Constitué à l’origine de quelques pièces, d’un cellier et d’un cloître, le prieuré, construit en galets roulés et en molasse, est agrandi au XVème siècle. Il est flanqué de deux tours, dont une dite « tréflée ». Il y eut sans doute un grand nombre de remaniements au cours des siècles et le style qui prédomine actuellement est celui de l’époque Renaissance. Si la chambre du prieur a perdu son plafond à caissons, il subsiste des décors des XVIe, XVIIe, XVIIIe siècles sur les poutres et en haut des murs dans les différentes salles. Certaines présentent également d’impressionnants décors en trompe-l’œil avec des colonnes et des chapiteaux ainsi que des frises de fleurs. De nombreux graffitis, dans les diverses pièces, demeurent énigmatiques. Après sa restauration, une belle cheminée du XVIe siècle sera visible au rez-de-chaussée.