Het Heilige Geesthofje dateert uit de 17e eeuw. In 1627 werden er in opdracht van Frederik Hendrik 15 huisjes bij de reeds aanwezige vijf huisjes gebouwd voor de ouden van dagen, 10 mannen en 10 vrouwen. Er ontstond een hofje waarin zoals gebruikelijk allerlei bepalingen golden. De bewoners kregen een toelage die in 1627 drie gulden per maand bedroeg en in later werd verhoogd tot zeven gulden.

De kapel is onderdeel van het armenhofje en is ook in opdracht van Frederik Hendrik, Prins van Oranje, Heer van Naaldwijk, in 1627 gebouwd. Boven de ingang prijkt zijn wapenschild. De kapel is achtereenvolgens als synagoge, streekmuseum en trouwzaal gebruikt.