Het Ambachtsherenhuis is in 1767/1768 gebouwd als administratief centrum voor het bestuur van de dorpen Oud- en Nieuw-Vossemeer, zetel van het plaatselijke gerecht én gevangenis. De voorgevel is uitgevoerd in de zgn. Lodewijkstijl. Na de omwenteling in de Bataafse tijd (1795) fungeerde het als gemeentehuis van Oud-Vossemeer. In 1953 is een nieuw gemeentehuis in gebruik genomen, waarop het Ambachtsherenhuis ingrijpend is gerestaureerd. Toen is de kelder onder het gebouw gedempt.
Ambachtsheren waren personen die door de landsheer werden belast met het bestuur en de rechtspraak in een bepaald gebied waarmee ze waren beleend. Met de term ambacht (vertaling van het Latijnse officium, d.i. plicht, taak/ambt), of ambachtsheerlijkheid, werd sinds de middeleeuwen de kleinste bestuurlijke eenheid op het platteland aangeduid (met name in Holland en Zeeland).
Oud- en Nieuw-Vossemeer was zo’n gebied, waar meerdere heren tegelijk hun rechten en plichten uitoefenden. Ze benoemden functionarissen zoals baljuw, schout, burgemeester, schepenen, keurmeesters van de meekrap, dijkgraaf en gezworenen. De heren vaardigden wetten en regels uit. Ze mochten lijfstraffen en doodvonnissen laten uitvoeren (halsrecht). Daarnaast hadden ze zakelijke rechten zoals heffen van tienden en accijnzen, exploiteren van korenmolens en veerdiensten.
Door het inpolderen van schorren en slikken breidden de Vossemeerse heren in de loop van de eeuwen hun gebied uit. Ook kochten ze de aangrenzende heerlijkheid Vrijberge aan. En hoewel ze bij de Bataafse omwenteling de meeste rechten verloren, stelden ze hun eigendommen veilig. Die zijn nu ondergebracht in een naamloze vennootschap: De Ambachtsheerlijkheid van Oud- en Nieuw-Vossemeer en Vrijberghe N.V. Ieder jaar vergaderen de aandeelhouders in het Ambachtsherenhuis. In dat gebouw is een permanente expositie gewijd aan de band tussen Oud-Vossemeer en de Amerikaanse Roosevelt-familie.
