L’antico centro abitato di Castelsaraceno è abbarbicato alla sommità di un costone roccioso denominato “la Tempa”. Le originarie abitazioni, che ancora si conservano addossate una all’altra, emergono dalla roccia animando strette, tortuose e ripide viuzze che colorano vicoli e suggestivi “supporti” (vie ad arcate che sorreggono le abitazioni). La Torre Saracena, sita a valle di Largo Sant’Angelo, è la più antica traccia archeologica presente in paese. Baluardo di un sistema di fortificazione che si estendeva dalla Portella (dove erano poste le porte di accesso) e percorreva tutto il crinale roccioso, con una cinta muraria che raggiungeva la zona nord-ovest del paese, rappresentava il migliore punto di avvistamento sulla valle del Racanello e del torrente omonimo.
Le prime fonti storiografiche citano il centro con il nome latino di Castrum Saracenum, il cui significato sta proprio a indicare una piccola torre posta come presidio di un centro abitato e delle vie di transito. Niceforo Porfiriogeno, nella Storia n. 55, parla del paese come roccaforte saracena già dall’anno 868, con un’appartenenza al Gastaldato di Laino e in seguito al Thema di Lucania dopo la vittoria bizantina sugli Arabi nell’anno 871. Da qui il paese avrebbe subito varie dominazioni: i Longobardi agli inizi dell’XI secolo, di nuovo i Saraceni intorno al 1031 e i Normanni dopo il terremoto del 1044, quando il Castrum iniziò a spopolarsi. Nel 1086 il territorio fu donato dai Mango di San Chirico Raparo ai monaci dell’abbazia di San Michele Arcangelo del monte Raparo con l’accordo che dovessero provvedere, da luogo solitario e disabitato, a farne un villaggio popolato. Ed è proprio ai monaci basiliani che Castelsaraceno deve la sua rinascita con un intenso periodo storico, artistico ed economico protrattosi fino al XVI secolo. Seguirono i governi di diverse famiglie tra cui i Sanseverino, il duca di Rovito, i d’Amato, il barone Lepore di Molfetta e i Piccinni fino al periodo dell’unificazione nazionale.