L'essentiel de la construction médiévale a été bâti au milieu du 14e siècle et sans doute agrandie au 15e. En 1309 y naquit Guillaume de Grimoard qui devint pape en 1362 sous le nom d'Urbain V. Il y passa une partie de son enfance.
L'édifice est abandonné à la fin du 15e siècle. Du 17e au 19e siècle, d'importantes transformations sont réalisées et, au 19e siècle, le domaine se transforme en exploitation agricole et en école communale. La masse principale de l'édifice est de plan rectangulaire et se compose de différents bâtiments ; tour de guet, bâtiment agricole, corps central… Autour de cet ensemble, des vestiges de dispositifs défensifs peuvent être reconnus.
Actuellement, le propriétaire du château est le Marquis de Laubespin, il a restauré les anciennes ruines et a permis de redonner vie à la belle demeure que l'on peut aujourd’hui admirer.
Le château se visite en été. Une exposition est dédiée au pape. Le hameau se visite toute l'année.
