Pastoors, armenmeesters en gasthuisvoogden hielden in de middeleeuwen regelmatig voedseluitdelingen. Hiervoor gebruikten zij schenkingen van rijke burgers. Om het bedelen te reguleren droeg het stadsbestuur de organisatie van de voedseluitdelingen op aan de broederschap van de ‘Armehuiszitten’, mensen die thuis in armoe leefden. Uit een schenking van het echtpaar Harmen Hopper en Lamme Huininge ontstond het Armhuiszittend convent. In 1621 kwam het complex tot stand en kreeg zijn huidige vorm in 1884.