Dit waren oorspronkelijk twee grote middeleeuwse huizen, die in 1807-1809 door architect J.D. Zocher Sr. zijn samengevoegd voor het paleis van Lodewijk Napoleon. De neoclassicistische achtergevel – toegang via de poort Wittevrouwenstraat – was eigenlijk bedoeld als voorgevel van het paleis. In het gebouw zijn een 18de-eeuwse bordestrap en gietijzeren archiefstellingen. In 1881 kreeg het een functie voor het Rijksarchief, waarvoor delen werden gesloopt. In 1986 zijn die weer aangevuld.
