Deze plaats waar het vroegere kasteel Groot Poelgeest heeft gestaan is als geheel een historische plaats en daarom een rijksmonument.
In 1326 is deze burcht gebouwd door Dirk van Poelgeest. Tijdens de Hoekse en Kabeljauwse twisten in 1420 verwoest door Jan van Beieren, die tot de Kabeljauwen behoorde. De toenmalige bewoner Gerrit van Poelgeest was raadsheer van Jacoba van Beijeren, behorend tot de Hoeken.
Nadat de burcht eind 16e eeuw werd herbouwd als kasteel, werd het na de Spaanse plunderingen van 1574, weer gerestaureerd. Daarna raakte het in verval en is het in de eerste helft van de 18e eeuw gesloopt. Het uit baksteen opgebouwde torentje met pannen tentdak is nog overgebleven. Dit was onderdeel van een imposante toegangspoort, daarom is in het metselwerk een gecanneleerde zuil verwerkt. Het torentje is nog enige tijd in gebruik geweest als gemeentegevangenis. Er is nog een gedeelte van de grachten te zien. Op het kasteeleiland heeft een rond waterkasteel gestaan. Nu zijn alleen het kasteeleiland, de slotgracht en een torentje van het poortgebouw uit eind 15e eeuw nog zichtbaar. Het kasteel en zijn bewoners hebben een roerige geschiedenis achter de rug: Hoekse en Kabeljauwse twisten, de tachtigjarige oorlog en het verval in de 18e eeuw. Het torentje van het poortgebouw heeft nog dienst gedaan als gevangenis van Koudekerk.
U kunt het eiland bezoeken met een trekpontje, via het terrein van boerderij Poelgeest aan de Lagewaard 1.
In een bijgebouw van de boerderij Poelgeest kunt u een maquette van het kasteel bekijken. Tevens is er een expositie van de bodemvondsten op het kasteelterrein.
