Son nom provient du mot "châtaignier" en occitan, arbre dominant du secteur des Cévennes et du Mont Lozère.
La manse de Castanet remonte au XIIIe siècle, mais est peut-être plus ancienne. Elle est située dans la paroisse Saint-Victorin-de-Villefort, rattachée au diocèse d'Uzès, mais est dépendante de l'abbaye de Saint-Gilles. À cette époque c'est le seigneur d'Hérail, co-seigneur parier de la Garde-Guérin et vassal de l'évêque de Mende, qui possède la manse. Jusqu'en 1550, la manse va être reçue en héritage, en plus du prestigieux droit d'être parier de la Garde-Guérin. C'est Robert Brun qui est possesseur de la manse à partir de 1550. Il va la vendre le 14 décembre 1571 à Jacques Isarn, issu d'une famille bourgeoise de Villefort.
Ouverture tous les jours sauf samedi du 1er juillet au 31 août et journées du patrimoine :
- Visite libre de 14h15 à 18h
- Visite guidée : départ 18h
