De toren is het restant van het eens vermaarde Kasteel van IJsselstein. Het werd vooral bekend door het boek Fulco de Minstreel. In de toren zijn de linksdraaiende gemetselde wenteltrap, fraaie gewelven en de voormalige Secretarie van de Drost (met daarin een oude gevangenis) te bezichtigen.

Het kasteel is al in 1888 afgebroken. Het bestond uit een groot complex van gebouwen, torens en muren met een slotgracht er omheen. De fundamenten van het kasteel zitten nog steeds in de grond. En gelukkig is de toren bewaard gebleven. Bekijk de bijzonder gemetselde wenteltrap met fraaie gewelven en de torenkamer met haard, sekreet (toilet) en gevangenis.

De Kasteeltoren is één van de satellietlocaties voor tentoonstellingen van Museum IJsselstein.