Le hameau de Hauterives est situé un peu en aval de Saint-Chély-du-Tarn, isolé sur la rive gauche du Tarn. Sa particularité est qu'il n’y a aucun pont pour y accéder. Pour s'approvisionner, les habitants utilisaient soit une barque, soit une petite nacelle sur câble effectuant le transport des matériaux ou des denrées d’une rive à l’autre.
Les maisons du hameau ont conservées leurs caractéristiques d’origine. Elles sont construites uniquement en pierre, sans charpente en bois, selon le principe des voûtes en plein cintre et recouvertes de lauzes calcaires pour la toiture. Au-dessus du village, sur un piton dénudé, est perché le château d'Hauterives dont les ruines témoignent des ravages de la guerre des religions.
Le village a été implanté à l’origine à un endroit qui permettait de ne pas empiéter sur les terres cultivables, et hors de portée des crues de la rivière.
