Pour parfaire la défense de la cité épiscopale, la maison-forte de Bahours est édifiée au nord-ouest.
C'est une construction massive, de plan carré avec escalier central en pierre. Elle date du début du XVIIe siècle.
Elle a été édifiée par Melchior Roux de Pomeirols, receveur des tailles du diocèse, dont les armoiries figurent à l'intérieur du château.
Fortifié sans autorisation des chanoines, il doit démolir "les tourelles, les meurtrières, les canonnières et les deux cachots".
Le château est inscrit au titre des Monuments Historiques en 1995.
Il s'agit d'une propriété privée.