In 1517 gaf de in Utrecht geboren kardinaal Adriaan Florisz. vanuit Spanje opdracht tot de bouw van dit huis in laatgotische stijl. In 1522 werd hij tot paus Adrianus VI verkozen maar hij overleed al in 1523, zonder het huis ooit gezien te hebben. De poort en de brug zijn in 1633 gebouwd. In 2009-2011 werd Paushuize gerestaureerd, waarbij 19e-eeuwse ‘Pompeiiaanse’ muurschilderingen tevoorschijn kwamen. Voor het gebouw staat sinds 2015 het standbeeld van Paus Adrianus, naar ontwerp van Anno Dijkstra.
