Het gevaar van een 'Open huis'
Zoals kasteel Dorth destijds als 'open huis' kon functioneren, zo kon Verwolde dat juist niet. Rond 1500 raakte het kasteel betrokken in een politieke strijd tussen Karel, hertog van Gelre en de bisschop van Utrecht. In 1505 werd het afgebroken door Karel van Gelre, omdat Derck IV van Keppel zich niet hield aan de 'open huis' belofte.
Karel liet het kasteel bijna meteen herstellen, want anders was dit deel van zijn kwartier te onbeschermd. De bisschop van Utrecht verwoestte in 1510 prompt het kasteel. Al twee jaar later herstelde Derck van Keppel het kasteel weer, omdat hij in genade was aangenomen. Maar zijn zoon kwam op de dodenlijst van Filips II, met als gevolg dat het kasteel in 1583 door de Spanjaarden opnieuw werd verwoest.
Vermoedelijk is Verwolde in de 12e eeuw gesticht door één van de Heren van Keppel als jachtslot. Omstreeks 1300 wordt Derck III van Keppel bij een erfdeling heer van Verwolde en tot in de 16e eeuw wonen er vele generaties van Keppel en tot in de 18e eeuw nazaten van hen in vrouwelijke lijn. Rond 1500 raakt het kasteel betrokken in de strijd tussen Karel, hertog van Gelre en de bisschop van Utrecht,waarbij uiteindelijk het met wallen versterkte kasteel wordt afgebroken en later in eenvoudige vorm herbouwd. Utrecht,waarbij uiteindelijk het met wallen versterkte kasteel wordt afgebroken en later in eenvoudige vorm herbouwd.
In 1738 wordt Verwolde gekocht door de Zutphense burgemeester, Evert Jan Benjamin Goldstein, voor zijn dochter Reiniera Charlotte. Zij is gehuwd met Allard Philip van den Borch. Twee jaar later wordt van der Borch ingeschreven in de Ridderschap van Zutphen, omdat hij de havezate dan lang genoeg bezit. Verwolde beschikt dan nog niet over een bewoonbaar huis, dus gaat hij met zijn echtgenote Reiniera in een deel van de Zutphense proosdij wonen. In 1776 laat zoon Frederik Willem van der Borch, een nieuw huis bouwen, in de stijl van het Hollands classicisme. Ontwerper is Philip Willem Schonk. In 1926 laat Line barones van der Borch tot Verwolde-Voûte een forse hoektoren toevoegen, waardoor het huis weer een kasteelachtige uitstraling krijgt. Tevens wordt in dat jaar het huis gemoderniseerd naar de nieuwste eisen van die tijd, met lift en badkamers.
In 1977 draagt Allard Philip Reinier Carel baron van der Borch van Verwolde het kasteel over aan de Stichting Geldersch Landschap en Kasteelen; sindsdien worden er rondleidingen gegeven. Het huis is stijlvol ingericht in de sfeer uit de tijd van de vroegere bewoners. Rondom het landhuis ligt een fraaie tuin in Franse stijl, uitlopend in een landschappelijk park.