De Velhorst komt in annalen onder diverse benamingen voor. De huidige naam wordt vanaf 1506 gebruikt. Wat wij nu kennen als het landgoed Velhorst zal zijn voortgekomen uit een horig goed, eigendom van een familie die zich Van Verlehorst noemde.
Al in 1105 is er sprake van een Wenzo de Vrollehorst, waarschijnlijk een dienstman op een Hof van die naam. In 1313 houdt een Herbertus van Putten de 'Hof te Varlehorst' in leen van de graaf van Gelre Het goed verwisselt vele malen van eigenaar.
Tot halverwege de 17e eeuw staat er op de Velhorst slechts een boerderij, totdat ene Diederik van de Wall er een huis sticht, dat naar hem ook wel 'Wallshuis' wordt genoemd. In de 18e eeuw spreekt men ook van het Spieker op Velhorst, waaruit blijkt dat het hier om een vrij klein huis gaat. Opnieuw gaat het goed verschillende malen – door geldnood of vererving – in andere handen over.
In 1741 voegt Ernst van Löben Sels het huidige front toe aan het restant van het 17e eeuwse huis, dat gedeeltelijk was afgebroken. Zijn kleinzoon Jan Carel Jacob van Löben Sels laat in 1819 de achterzijde van het huis ingrijpend verbouwen.
Via vererving komt de Velhorst in de 19e eeuw in bezit van de familie Martens van Sevenhoven. Een huis op stand komt goed uit, want in 1829 zijn ze in de adelstand verheven. Rond het begin van de 20e eeuw maken twee ongetrouwde dochters zich druk om de Christelijke zaak. Ze zitten in de besturen van het 'Nederlandsch Verbond van Christelijke Meisjesvereenigingen' en het 'Verbond van Christelijke Vrouwenvereenigingen'. Dat brengen ze ter plekke in de praktijk door evangelisatielessen te geven aan buurtkinderen in het gebouwtje Bethel, in Klein Dochteren. Bethel betekent 'Huize van God'. Die lessen kunnen natuurlijk niet op de Velhorst worden gehouden, want stel je voor: al dat gewone volk over de vloer!
Bethel is nu het clubhuis van de klootschietvereniging 'Klein Dochteren' en het landgoed de Velhorst is tegenwoordig eigendom van Natuurmonumenten. Behalve het hoofdgebouw bevinden zich op de Velhorst diverse authentieke boerderijen met beschilderde luiken, een tuinmanswoning en een orangerie. Die laatste was een tijd lang atelier van de Lochemse beeldhouwer Willem Berkhemer. De bongerd en de broeihof zijn een lust voor het oog. Hier wordt met hulp van vrijwilligers de rijke tuinhistorie in leven gehouden.
1313: de hof te Varlehorst wordt genoemd
1463: diverse eigenaren onder wie Verlehorst, van Voorthuysen, Schimmelpenninck en van der Leeuw/Stuart
1660: van de Wall bouwt Wallhuis (Spieker)
1712: na wanbeheer verkocht aan Johan op ten Noort en verhuurd
1741: Van Löben Sels eigenaar, deels afgebroken en voorhuis gebouwd
1818: onder Isabella van Löben Sels, krijgt het het huidige uiterlijk
1890: Johanna van Rappard erft, daarna Martens eigenaar
1972: Natuurmonumenten