De oude naam van dit kasteel is De Beesde. Vanaf de 14e eeuw tot 1645 is het eerst eigendom van de familie De Beesde en daarna van de familie Van Lockhorst. In 1645 verkopen de erfgenamen van de familie Van Lockhorst het kasteel aan Balthazar van Buren. Die was getrouwd met Beatrix de Waal van Vronestein, en zo kwam het kasteel weer terug in de familie: de overgrootmoeder van Beatrix heette Margriet Laurensdr. van Beesde en was een afstammeling van de oorspronkelijke eigenaren.

De Beesde veranderde van naam toen een kleindochter van Balthazar en Beatrix in 1707 trouwde met Watze Wytze van Cammingha. Diens erfgenamen verkochten het kasteel, de boerderij en het land in 1773 aan Jan Pesters. Van 1929 tot 1958 was het kasteel eigendom van de familie De Wetstein Pfister en toen werd het verkocht aan de familie Peek. Deze familie woont al sinds1762 op de naastgelegen boerderij De Beesde.

Vermoedelijk bestond het kasteel vroeger alleen uit een grote woontoren, een donjon, en was het omringd door water. Aan de ene kant lag de Kromme Rijn en aan de andere kanten liep een gracht. In de 17e eeuw is door de familie Van Buren  aan de westkant een vleugel aangebouwd, waarvan de prachtige spiltrap te bewonderen is. De vleugel aan de noordkant is in de 19e eeuw gebouwd. In de huidige onderste verdieping van Cammingha waren vroeger 6 venstertjes. Dit waren de schietgaten. Eén ervan is bewaard gebleven. Verder zijn er in de onderverdieping mooie troggewelfjes te zien. Kijk ook eens naar de dikte van de muren. Je kunt je voorstellen dat je je hierin verdedigen kunt!