Oorspronkelijk stond op de plek van het huidige Huize Olterterp het slot van de familie Van Boelens.
Leden van deze familie bezaten een groot deel van het gebied in en rond Olterterp. In de nabijgelegen Sint Hippolytuskerk herinnert een rouwbord aan Ayzo van Boelens (1694-1782), raadsheer aan het Hof van Leeuwarden.
Zijn kleinzoon Ambrosius van Boelens liet in 1793 het Slot Boelens bouwen. Het slot werd in 1906 afgebroken en vervangen door het huidige landhuis. In de jaren negentig is het pand verbouwd, maar het oorspronkelijke karakter is nog goeddeels bewaard gebleven.
Het reliëfrijke park is aangelegd in de Engelse landschapsstijl. De oorspronkelijke vennetjes werden omgebouwd tot vijvers, daaromheen werden kunstmatige heuvels gemaakt en er kwamen slingerpaden.
Het park is mogelijk ontworpen door landschapsarchitect Lucas Pieters Roodbaard (1782-1851), maar zeker is dit niet. Roodbaard heeft wel met zekerheid de parken van Lyndenstein en Harinxmastate aangelegd.
Huize Olterterp is tegenwoordig in gebruik als hoofdkantoor van de Friese landschapsorganisatie It Fryske Gea.
