Il Castello o meglio larga parte dei suoi resti, è posto alla sommità di un colle dominante da occidente l''abitato.
Incerta è la data di costruzione degli attuali edifici, sorti probabilmenti su altri più antichi.
La sua presenza è quasi certamente origine del nome dell'odierna Calatafimi, (in Arabo Kalat-al-Fimi) infatti le diverse teorie lo attribuiscono ora a Fimi (Diocles Phimes) ed ora ad Eufemio, ovvero fondono entrambi in un'unica persona, sembra comunque che Fimi fosse un Nobile con terre nell'agro Segestano, ricordato nelle Verrine di Cicerone, mentre Eufemio sarebbe stato un traditore o presunto tale che avrebbe aperto l'isola all'invasione Araba.
Il tessuto edilizio di Calatafimi risente per larga parte della presenza araba, ed Edrisi nel 1154 nel "Libro del Re Ruggero" scrive: "...è castello antico, (anzi) primitivo e fortilizio niente sgradevole. Ha un borgo popolato, terreni arabili, alberati, ma poche acque scorrono nei dintorni.....".
Nel XIII secolo il Castello forse fu restaurato sotto il regno di Federico II di Hohenstaufen di Svevia.
Calatafimi nel 1282 visse le vicende del Vespro.
Nel 1299 Carlo D'Angiò diede Calatafimi in feudo a Pietro Sossa.
Un secolo dopo nel 1399 su richiesta dei cittadini di Calatafimi la città divenne demaniale, ma solo per un breve periodo, infatti nel 1407 venne di nuovo concessa da re Martino I a Don Giaime de Prades, conte di Caccamo.
Quindi nel 1420 Giovanni Caprera conte di Modica, ottenne il mero e misto imperio sugli stati di Caccamo, Alcamo e Calatafimi. Nei secoli seguenti Calatafimi fù parte della Contea di Modica. Ritornò al demanio nel 1802 e vi rimase sino al 1816, poi fu di Michele Carlo Stuart, duca di Alba, conte di Modica e barone di Calatafimi.
Il Castello fu dimora dei governatori della città nel periodo in cui la stessa fu demaniale, poi sede delle compagnie d'armi e carcere giudiziario .
Persa tale destinazione nel 1868 l'abbandono e le manomissioni conseguenti alla realizzazione delle vasche dell'acquedotto ne hanno segnato per più di un secolo il declino con conseguenti crolli di buona parte delle diverse fabbriche.
Ne rimanevano fino a pochi anni fa, i resti delle due torri, i muri di mezzogiorno e di ponente , i locali già adibiti a carcere, alcuni magazzini.
Più di recente è stato in parte restaurato.
