Le rocher de Caylus domine impassiblement la ville de Saint Affrique. Culminant à 519 mètre d'altitude, alors que la ville n'est qu’à 330 mètres, il veille sur les Saint-Affricains...Le rocher de Caylus est le premier site d'habitat "Saint-Affricain". En effet, un mobilier préhistorique y a été retrouvé et atteste de l'occupation du lieu dès la Préhistoire. Le site tient son nom du « château de lumière » qui s'y dressait. De l'occitan : "Castel Lucius", son nom a dérivé en "Castlucius", "Castlus", "Caslucius", "Caslus" jusqu'à "Caylus". Le château était celui des Comtes de Caylus, seigneurs de Saint-Affrique. Ils devaient fidélité au Comte de Toulouse. Suite à un différend, Raymond VII Comte de Toulouse ordonne le démantèlement du château. Pour punir plus encore les seigneurs de Caylus, il octroie des franchises aux habitants de la ville. Le démantèlement n'a pourtant pas empêché le rocher de rester habité. Ce n'est qu'après 1730 que le château, du moins ce qu'il en restait, est abandonné. Ses derniers vestiges ont servi à l'empierrement de la route de Tiérgues .Sources : Archives municipales : Délibérations du Conseil municipal, Édifices divers