Karel van Gelre belegert de Wildenborch driemaal vergeefs en eenmaal met succes. Maar het blijft onrustig vanuit de Wildenborch. Karel is het zat. In 1520 laat hij de verdedigingswerken slopen en geeft toestemming aan zijn gunsteling, Sweder van Kervenheim, om een deel van die afbraak te gebruiken voor de bouw van kasteel de Cloese, onder de afspraak: 'Ende so heeren Sweer van Kervenheim, canonick, eenen pol, gelegen op de Birckel, geheiten die Cluse, overgegeven ende gegunt heeft te betimmeren…' Sweder had, als geheim secretaris van Karel van Gelre, namelijk een handje geholpen bij het huwelijk van Elisabeth van Rechteren van kasteel Keppel met Johan van Pallandt.
Van puin getimmerd
Daarmee werd kasteel Keppel een Staatsgezind bolwerk aan de zuidkant van de Graafschap, tegenover de Liemers, precies zoals Karel het wilde. En Sweder was met de bouwmogelijkheid van de Cloese in zijn sas, want hij was meer edelman dan pastoor. Zijn pastoorsfunctie in Lochem laat hij dan ook aan een waarnemer over. Sweder beheert het kasteel tot 1536, maar als hij proost van Zutphen wordt geeft hij het terug aan Karel van Gelre. Deze ruilt de Cloese met de Cannenburg in Vaassen, dan in bezit van een Derck van Keppel.
Al in 1379 is er sprake van een pol in de Berkel, eigendom van een familie Reynering. Die familie gaat zich geleidelijk aan 'ter Cluse' noemen, naar hun huis 'de Kluijs', misschien omdat de pol min of meer een afsluiting in de Berkel vormt. Johan ter Cluse en zijn familie beheren het leen tot het begin van de 16e eeuw. Dan bouwt pastoor Sweder van Kervenheim, met toestemming van Karel van Gelre, op diezelfde pol een nieuw huis. Al snel geeft hij het terug aan Karel, die in genoemde Derck van Keppel een nieuwe eigenaar vindt. Diens familie wordt daarmee eigenaar van drie aaneengesloten landgoederen, Verwolde, Ampsen en de Cloese.
In 1602 overlijdt Reinier, de laatste van Keppel op de Cloese en ontstaat onenigheid over de inmiddels armzalige erfenis. Die wordt pas opgelost als Herman Schimmelpennick van der Oye de boedel van de Cloese opkoopt. Hij knapt het huis op en breidt het uit. Daarna gaat het huis over op Frans Jan van Heeckeren van Enghuizen. Diens kleinzoon Lodewijk laat het grondig verbouwen, daarbij dankbaar geholpen door het vermogen van zijn echtgenote, Jacoba Catharina Petronella Du Tour.
Na verkoop en vererving komt de Cloese medio 19e eeuw in handen van Maria Anna Cornelia van Harlingen, die enige tijd later trouwt met mr Cornelis Jacob Sickesz. In 1886 verbouwt het echtpaar Sickesz het huis tot het huidige neorenaissance kasteeltje, naar plannen van architect Nicolaas Molenaar. Sickesz is een invloedrijk man, die zich zijn hele leven nuttig maakt voor de publieke zaak. Hij is volksvertegenwoordiger, topambtenaar, burgemeester en voorzitter van talloze commissies en besturen. maar ook initiatiefnemer van de eerste zuivelfabriek in de regio, die hij van start laat gaan in zijn koetshuis, waarbij hij zijn chauffeur directeur maakt.
Na het kinderloos overlijden van de Sickeszen wordt de Cloese gekocht door de Friese aristocraat Bieruma Oosting, wiens dochter Jeanne een bekend schilderes wordt. Zie deel V 'Lochem Markante Mensen'. Grote delen van de grond worden verkocht, zodat er aan de oostkant van Lochem ruimte ontstaat voor de nieuwe villawijk ‘Berkeloord’. Vervolgens gaat het kasteel vele malen in andere handen over tot het in 1959 Politieopleidingsschool voor Noord-Nederland wordt. Inmiddels is ook dat al weer ruimschoots verleden tijd, is het kasteel ontdaan van alle aan- en bijbouwen en zijn er plannen voor de bouw van villa’s in de omgeving van het kasteel.
1520 Sweder van Kervenheim bouwt een kasteel op de pol 'de Cluse'
1536 Derck van Keppel wordt eigenaar
1637 Herman Schimmelpenninck van der Oye vernieuwt en vergroot de Cloese
1745 Frans Jan van Heeckeren van Enghuizen wordt eigenaar
ca 1800 kleinzoon Lodewijk van Heeckeren verbouwt tot rechthoekig blok
1854 Maria Anna Cornelia van Harlingen wordt eigenares
1886 fam Sickesz-van Harlingen bouwt geheel nieuw, neoclassicistisch kasteel
1907 – 1928 fam Bieruma Oosting
1948-1957 Maria Immaculata Opleidingsinstituut voor katholieke meisjes
1959-2003 Politieopleidingsschool voor Noord-Nederland