Het Stadhuismuseum is ondergebracht in een bijzonder gebouw, waarin tot 1997 het gemeentebestuur van Zierikzee zetelde. Het oudste gedeelte (de Vleeshal) dateert uit de periode 1250-1350; de andere gedeelten van het gebouw zijn ruim 450 jaar oud. In het verleden was dit gebouw niet alleen het onderkomen van het stadsbestuur, maar ook de rechtbank, het waterschap, de vleeshal en de waag (voor onder meer de keuring van meekrap) waren hier gehuisvest. En hoog op de toren waakt Neptunes nog altijd over de stad.
