Im 14. Jh. verwandelten die Cheminades die Borie de Cogossac in eine Festung.
François Calvet de Fontnilles, ein Adliger aus den Cevennen und überzeugter Protestant, nutzte diese Festung als Unterkunft für die Hugenotten. Ende des 16. Jh. eroberten die Katholiken das Gebiet und töteten die Dame von Cougoussac sowie die meisten ihrer Familienmitglieder.
1587 heiratete Marie Calvet de Fontanilles, ein Nachfahre der überlebenden Verwandten, Urbain de Retz de Bressoles, der die Festung so restaurierte, wie sie heute noch zu sehen ist.