De witte villa op de hoek Rijsenburgselaan/Drieklinken is in 1855/1856 gebouwd in opdracht van Thomas van Rijckevorsel, nazaat van de stichters van de parochiekerk en Rijsenburg, Petrus Judocus van Oosthuyse en Margaretha de Jongh. Van Rijckevorsel schonk de villa aan de Zusters van Liefde van Tilburg uit dankbaarheid voor de verzorging van zijn zieke vrouw door een der zusters. In een deel van de villa werd een verzorgingshuis voor bejaarden ingericht. Vele bewoners hadden baat bij de goede zorgen van de zusters in het ‘St. Jozef-gesticht’, zoals het huis heette.

In de villa dreven de Zusters van Liefde ook een naai- en breischool en een bewaarschool voor kleuters. In 1950 vestigden de Zusters Ursulinen zich in het klooster en zetten er de kleuterschool voort. Generaties kinderen hebben ‘bij de zusters’ op de kleuterschool gezeten, van wie zuster Tarcisius en zuster Margaretha Maria bekende namen zijn. In haar historie is het pand meerdere keren verbouwd, verhoogd en uitgebreid.

Door de naamgeving ‘Villa Xaverius’ en het plaatsen van een passend kunstwerk blijft de bijzondere historie van het gebouw zichtbaar. De architectuur van de villa is zoveel als mogelijk gerespecteerd.

Nu zijn er diverse medische en therapeutische organisaties in gevestigd.