Le village du Viala du Tarn existait déjà au 12ème siècle. Il dépendit d'abord du monastère bénédictin d'Ispagnac, en Lozère. Puis de 1383 à la Révolution, il dépendit de l'abbesse du monastère Saint Sernin sous Rodez. Le village s'est entouré de remparts vers le 15ème siècle. Une maison forte appelée "Château de Madame" propriété des abbesses du monastère Saint Sernin sous Rodez, appuyée aux remparts du côté le plus menacé devait renforcer la défense de ce point faible. L'église primitive incluse dans l'enceinte, devait elle aussi concourir à la défense ainsi que le fossé entourant le village. Le nom de « Tras de la muralha » témoigne encore des anciennes fortifications. Du côté opposé, on trouve les vestiges d'une tour ronde et la seule porte surmontée d'une tour qui soit encore debout: la « tour de l'horloge ».