Un texte de 1457 mentionne « la terre et seigneurie de Varennes dont le seigneur en Pierre Tillon seigneur de Mantelon ». Au XVIIe siècle le château devint la propriété des Constantin, une grande famille angevine. La chapelle, édifiée en 1670, présente un fastueux décor caractéristique des grands retabliers lavallois. Le domaine fut par la suite acquis par les La Tullaye, qui le modernisèrent et l’agrandirent pour obtenir l’élégant ensemble dont on peut admirer l’ordonnance sur un dessin de l’époque. Pendant la période révolutionnaire le château fut mis aux enchères et acheté par Joseph Rousseau de La Brosse.
En 1874, Gordon Pirie entreprend de réhabiliter le domaine. Son fils, passionné de botanique, embellit le parc en plantant de nombreuses espèces rares qu’il fait venir des pays lointains ou bien des collections royales d’Angleterre, le transformant ainsi en un véritable arboretum. On découvre à cette occasion des allées cavalières creusées dans le rocher, des pierres debout, tout un ensemble de fabriques qui donnent à ce parc un parfum de mystère.
Aujourd’hui, le château conserve tout le charme et l’élégance des vieilles demeures françaises et reste une des belles parures des coteaux angevins.