Situé au cœur des Terres de Peyre, le site du Roc de Peyre culmine à près de 1180 mètres d’altitude et domine le plateau de l’Aubrac. Du fait de cette situation géographique exceptionnelle et autrefois bien stratégique, le site était surmonté à partir du XIIe siècle d’un castrum, un bourg fortifié, siège des seigneurs de Peyre. À partir du Xe siècle, la seigneurie de Peyre connaît une ascension fulgurante et devient l’une des plus puissantes familles du Gévaudan et du royaume de France.
Aujourd’hui il ne reste plus aucun vestige de la forteresse, détruite lors des Guerres de Religion par représailles. La conversion de la famille au protestantisme mena à l’organisation de la résistance protestante en Nord-Gévaudan pendant les Guerres de Religion. C’est pour cette raison qu’en 1633, le cardinal Richelieu ordonna le démantèlement du château.
Les barons de Peyre choisiront par la suite d’autres emplacements pour reconstruire leur siège (notamment à la Baume).