Le Villard Vieux et le Villard Jeune se font face à la même hauteur, de part et d'autre d'une petite gorge creusée ici par le Lot.
L'ensemble fortifié a été construit vers le XIIe siècle par les évêques de Mende, pour défendre le château de Chanac. C'est un site défensif composé de plusieurs bâtiments entourés par un mur d'enceinte percé de meurtrières (datant probablement du XIVe siècle). On y pénètre par une porte encadrée de deux tours rondes, protégée par une herse.
A l'intérieur, en longeant les remparts, les bâtiments évoquent le Moyen-Age avec les restes du donjon, mais aussi le XVIe avec un bâtiment massif flanqué d'une tour d'escalier hors oeuvre, percé de fenêtres à croisées.
L'église est romane mais reprise à l'époque gothique. Reconnaissable à son clocher-porche du XIXe siècle, elle est ornée de peintures murales à l'intérieur.
Le site offre également de jolis points de vue sur les environs, notamment le versant sud de la Cham de Palherets et la vallée du Lot.
