Ooit zou Willem Holleeder in dit gebouw in voorarrest hebben gezeten. Vanaf 1928 was dit fraaie hotel namelijk een huis van bewaring, waar arrestanten werden opgesloten in afwachting van hun berechting. Pas na de veroordeling gingen ze naar een gevangenis. Rijksbouwmeester Ir. G.C. Bremer ontwierp het pand met kenmerken van de Amsterdamse School.

Het gebouw had 42 cellen, die nu deels zijn verbouwd tot luxueuze hotelkamers. Een groot verschil met de eerste helft van de twintigste eeuw. Toen sliepen de arrestanten op een ijzeren brits met een strozak. Pas na de Tweede Wereldoorlog werden die vervangen door een gewoon bed. De binnenplaats was oorspronkelijk de luchtruimte voor vrouwelijke arrestanten.

het Huis van Bewaring had een directeurswoning en dienstwoningen voor de huismeester en bewaarders. Deze bevinden zich aan de Marktstraat en dan om de hoek aan de Waag. Toen het Huis van Bewaring in 1995 werd opgeheven, kregen deze panden de functie van woningen, kantoren en een fietsenstalling.

Het Huis van Bewaring stond nog enige tijd leeg, totdat Liesbeth en Jørgen van der Pot vanaf 2004 het complex ingrijpend verbouwden tot een hotel. Daarvoor kregen zij in 2014 de Pieter van Vollenhovenprijs van het Nationaal Restauratiefonds uitgereikt. In 1997 werd het gebouw een rijksmonument.