Après avoir mené une vie érémitique, l'abbé Geoffroy fonda au Chalard une communauté de chanoines augustins en 1088. Il entreprit la construction du monastère en 1096. L'église fut consacrée en 1100. En 1150, une bulle papale confirme l'autonomie du monastère et de ses fondations.
De 1419 à 1423, les Anglais occupèrent Le Chalard assiégé et le monastère fut en partie ruiné. Des aménagements ont été réalisés à la fin du 15e siècle et au 18e siècle. Le déclin de la communauté se poursuivit jusqu'à la Révolution, époque à laquelle les bâtiments furent vendus.
Des bâtiments d'origine subsistent le choeur et le transept de l'église, ainsi que le bâtiment renfermant la salle capitulaire, l'ancien dortoir des moines et un autre bâtiment fortifié. La salle capitulaire renferme trois sarcophages en granit et deux pierres tombales dont une historiée. Des restaurations ont été réalisées dans les années 1830-1840.
L'ancien prieuré est aujourd'hui une propriété privée ouverte au public lors du festival de musique du Chalard