Village troglodytique sur la rive gauche du Tarn, ce dernier est dominé par un château à présent en ruine mais qui possède une légende bien particulière : en temps de Croisades, tous les hommes seraient partis à la guerre, sauf le seigneur de Castelbouc.
La légende raconte qu’il aurait dû contenter toutes les femmes du village, en manque d’hommes, et qu’il en serait mort d’épuisement. Le soir venu, son fantôme en forme de bouc aurait survolé le château, donnant son nom au lieu.