Loubressac vient du latin Luperciacum (domaine de Lupercius). Celtes, Gallo-Romains, Wisigoths, Arabes, Francs, Vikings ont successivement traversé ou occupé le territoire de ce qui est devenu Loubressac au IXè siècle.
Le premier Loubressac fut au lieu dit l’Eglise Basse, où se trouvaient le repaire et l’église Saint-Pierre. Hugues de Rouergue fut le seigneur de ce territoire et fonda la dynastie des Castelnau, dont dépendit la Seigneurie de Loubressac jusqu’au XIIIè siècle, puis du Roi de France jusqu’en 1351, du Vicomte de Turenne jusqu’en 1738 puis de nouveau du Baron de Castelnau avant de devenir commune en l’an X de la République.