Op het Hoog, het oude dorpshart van Afferden, staat sinds de veertiende eeuw op het kerkhof de ongelede bakstenen toren. Deze Oude Toren is het laatste overblijfsel van de middeleeuwse dorpskerk. De toren beslaat een bijna vierkante plattegrond en heeft een muurdikte van 1,10 meter. De oostmuur is zelfs 1,50 meter dik, omdat deze bestaat uit de oorspronkelijke torenmuur en de aanliggende westmuur van het schip van de afgebroken dorpskerk. Rond de toren ligt de Rooms-katholieke begraafplaats.

De toren had geen eigen ingang, maar was toegankelijk vanuit de kerk door de nu nog aanwezige smaller gemaakte oostelijke torendeuropening. Pas in de negentiende eeuw kreeg de toren een west-ingang die na de sloop van de kerk spoedig weer is dichtgezet. De restanten daarvan zijn in de westgevel nog zichtbaar. Het schip van de middeleeuwse dorpskerk was breder dan de toren. De nok van het vroegere kerkdak had de hoogte van de top van het driehoekig veld dat zich in de vorm van de ruwe buitenbepleistering aftekent tegen de huidige oostmuur van de toren. Uit de toepassing van afwisselend baksteen en tufstenen speklagen van deze muur blijkt, dat deze muur behoorde tot het kerkgebouw uit de oudste (Romaanse) fase. De toren is in de veertiende eeuw tegen deze kerkmuur aangebouwd en is met de bovenbouw half op de bestaande muurdikte van de schipmuur gebouwd. Deze schipmuur uit de twaalfde eeuw is meer dan 200 jaar ouder dan de torenmuur zelf. De begane grond van de toren had een stenen koepelgewelf waarvan de aanzetten nog zichtbaar zijn; daarboven lagen twee tussenverdiepingen en de klokkenverdieping. Aan drie zijden kent de toren een spleetvenster en aan de noord- en zuidzijde een gedeeld dubbel galmgat in een rondbogig spaarveld.

Van 1621 tot l801 waren kerk en toren in het bezit van de protestanten, hoewel vrijwel alle autochtone parochianen uit Afferden en Deest katholiek bleven en vanaf 1710 hun eigen schuurkerk hadden. Nadat de katholieken in 1801 de oude kerk weer in bezit hadden genomen, werd al snel besloten het kerkgebouw niet te renoveren. In plaats daarvan werd ervoor gekozen om een Waterstaatskerk te bouwen tussen Afferden en Deest. Deze kerk werd in 1833 gebouwd. De middeleeuwse kerk op het Hoog werd in 1838 gesloopt. De Oude Toren met uurwerk en torenklok werd gespaard, maar het Hoog was geen kerkelijk middelpunt meer.

Rond 1938 werd de luidklok uit 1806 (diameter 102 cm, 700 kilo) overgebracht naar de koorzolder van de kerk aan de Koningstraat met de bedoeling deze daar te gaan gebruiken. Dat is er nooit van gekomen. In 1944 is de klok daar door de Duitse bezetter ontdekt en geroofd. In 2009 is voor de inmiddels gerestaureerde Oude Toren weer een luiklok aangeschaft, afkomstig van een kerk in Hattem bij Zwolle.

De toren is op initiatief van en in krachtige (ook financiële) samenwerking met louter vrijwilligers in 2004 èn in 2014 gerestaureerd. In 2004 is het dak er op geplaatst met een koperen haan als hoogste punt. De verdiepingen werden gerealiseerd en toegankelijk gemaakt met houten trappen. In 2014 kwam de toren in handen van de Stichting De Oude Toren Afferden met het doel: de geschiedenis van Afferden in het algemeen en die vande oude toren in het bijzonder zichtbaar en levend te houden.

In de toren is op de begane grond een Mariakapel en een vitrine met twee keer per jaar nieuw ingerichte expositie; beide dagelijks te bezoeken. In de maanden december en januari wordt in de vitrine de originele kerstgroep, uit de inmiddels gesloten St Victor en Gezellen kerk te Afferden, tentoongesteld. Vanaf 2019 hangt er een houten gedachteniskruis naast het Maria-altaar. Dit ontwerp van Sjaak van den Berg symboliseert de gedachtenis aan een overledene uit de gemeenschap van Afferden: hij of zij wordt uitgelicht.

Extra
Tijdens de Open Monumentendagen extra aandacht voor de beroemde, later verguisde, Afferdense schilder, Antoon van Welie. (In 2007 wijdde Museum Het Valkhof te Nijmegen een tentoonstelling aan hem.) De graven van zijn ouders en andere familieleden liggen tegenover de ingang van De Oude Toren. En zijn geboortehuis aan de Van Heemstraweg 32 bestaat nog steeds, maar is erg verwaarloosd helaas.