Ooit maakte het landgoed rondom het kasteel Tongelaar een kwart van het Gasselse grondgebied uit. Gemeentelijke herindelingen zorgden ervoor dat Tongelaar eerst bij Beers kwam en uiteindelijk tot de huidige gemeente Mill en Sint Hubert is gaan behoren. Maar het was dus ooit echt Gassels!
Op de plaats van het huidige kasteel lag al in de 9e eeuw een vluchtburcht of 'motte' op een natuurlijke verhoging temidden van uitgestrekte moerassen en bossen langs beekoevers. In zijn kern dateert het huidige kasteel uit de 15e eeuw. De westvleugel rondom het binnenplein is van eind 18e eeuw en gebouwd in de stijl van een Limburgse boerderij. Het omgrachte terrein en de vierkante, bakstenen poorttoren zijn de oorspronkelijk 15e-eeuwse elementen.
Het kasteel is zijn bestaan begonnen als bezit van de heren van Cuijk. Jan van Cuijk droeg het in 1281 in leen op aan de Hollandse graaf Floris V. Dat ging veertien jaar goed, maar op 5 mei 1296 verbrak Jan van Cuijk deze leenrelatie. Dat Floris V op 27 juni van datzelfde jaar op Tongelaar zou zijn vermoord (en dan ook nog door Jan van Cuijk zelf), is echter een romantisch verzinsel.
In 1964 heeft men bij een gedeeltelijk herstel van het kasteel muurresten van een versterkt huis ontdekt, dat vermoedelijk via een brug was verbonden met het huidige kasteel. De muren van dat huis zijn niet erg zwaar geweest, hoogstens 85 cm. Aan de zuidkant van de poorttoren bevond zich een ophaalbrug.
Ergens in de eerste helft van de 15e eeuw moet het kasteel van de familie Van Cuijk in andere handen zijn overgegaan. In 1445 is er sprake van Cornelis van Merwick, “heer van Tongelaer”. Door vererving en verkoop hebben kasteel en landgoed in de loop der eeuwen voortdurend wisselende eigenaars gekend. De laatste koper was de Stichting Het Noord-Brabants Landschap, die in 1978 ruim tien miljoen gulden voor het landgoed neerlegde.
Het gebied dat tot het landgoed behoort, heeft een hele oude bewoningsgeschiedenis. Nog niet zo lang geleden zijn er bronzen speerpunten gevonden, die teruggaan tot de periode 2200-800 voor Christus. Maar inmiddels is Tongelaar een echt cultuurlandschap. Dat begon al rond 1300 met de inpoldering van het Tongelerbroek of Tongelaarsbroek. Aangezien dat gedaan is door Hollandse deskundigen, heet dit stukje landgoed ook wel het Hollanderbroek.
Dat het landschap hier echt het resultaat van mensenwerk is geweest, valt ook af te lezen uit de in cultuur gebrachte gronden, die kaarsrecht worden doorsneden door bosstroken, houtwallen en waterlopen. Allemaal aangelegd dus. De benaming van de waterlopen hier, met het achtervoegsel “-graaf”, zoals de Biestgraaf en de Ottersgraaf, duidt er eveneens op dat het hier niet om spontaan ontsprongen (natuurlijke) beken gaat, maar om door mensenhanden gegraven ontwateringssloten.
Veel van deze structuur is door diezelfde mensenhanden in het begin van de negentiende eeuw weer verwijderd. Bij een poging de Beerse Maas strakker te reguleren, moest de traverse van het Maaswater in 1828 en de jaren daarna van “obstakels” worden geschoond. Overal werden maasheggen, houtwallen en vrijstaande bomen opgeruimd om de waterstroom vrije doorgang te verlenen over de landerijen. Vooral het landgoed Tongelaar werd het slachtoffer van deze actie "ruimte voor de rivier" avant la lettre. Honderden zware eiken werden gekapt en van de Tongelaarse lanen bleef weinig over.
In de Nijmeegse Courant van 23 februari 1830 werd het hout te koop aangeboden: “Op de heerlijkheid Tongelaar, gelegen een uur van de Maas en van de stad Grave, zijn uit de hand te koop: Veertienhonderd zware eikenbomen, dienstig tot standers en assen en andere zware werken.”
Inmiddels wordt het landgoed dus al weer bijna dertig jaar beheerd door het Brabants Landschap en komen er vogelsoorten voor als boomvalk, bosrietzanger, bosuil, braamsluiper, buizerd, grasmus, groene specht, havik, kleine bonte specht, kleine karekiet, kwartel, nachtegaal, patrijs, ransuil, roodborsttapuit, spotvogel, steenuil, veldleeuwerik, wespendief en wielewaal.
De beheerder moet tegenwoordig het hoofd bieden aan een nieuwe bedreiging voor het landgoed, de verdroging. De planten die zich er vroeger zo goed thuis voelden, zoals aronskelk en speenkruid, hebben het momenteel moeilijk of zijn zelfs verdwenen. Samen met het waterschap Aa en Maas worden maatregelen genomen om het gebied nat te houden. Waterlopen worden ondieper gemaakt; het waterpeil wordt verhoogd, zodat het water langer in het gebied blijft; kwelwater krijgt weer een kans; en er worden poelen aangelegd voor kikkers en salamanders.
Het kasteel kan nu gehuurd worden voor vergaderingen, allerlei arrangementen en feesten en partijen.
Op de plaats van het huidige kasteel lag al in de 9e eeuw een vluchtburcht of 'motte' op een natuurlijke verhoging temidden van uitgestrekte moerassen en bossen langs beekoevers. In zijn kern dateert het huidige kasteel uit de 15e eeuw. De westvleugel rondom het binnenplein is van eind 18e eeuw en gebouwd in de stijl van een Limburgse boerderij. Het omgrachte terrein en de vierkante, bakstenen poorttoren zijn de oorspronkelijk 15e-eeuwse elementen.
In 1964 heeft men bij een gedeeltelijk herstel van het kasteel muurresten van een versterkt huis ontdekt, dat vermoedelijk via een brug was verbonden met het huidige kasteel. De muren van dat huis zijn niet erg zwaar geweest, hoogstens 85 cm. Aan de zuidkant van de poorttoren bevond zich een ophaalbrug.
Het gebied dat tot het landgoed behoort, heeft een hele oude bewoningsgeschiedenis. Nog niet zo lang geleden zijn er bronzen speerpunten gevonden, die teruggaan tot de periode 2200-800 voor Christus. Maar inmiddels is Tongelaar een echt cultuurlandschap. Dat begon al rond 1300 met de inpoldering van het Tongelerbroek of Tongelaarsbroek. Aangezien dat gedaan is door Hollandse deskundigen, heet dit stukje landgoed ook wel het Hollanderbroek.
Veel van deze structuur is door diezelfde mensenhanden in het begin van de negentiende eeuw weer verwijderd. Bij een poging de 
De beheerder moet tegenwoordig het hoofd bieden aan een nieuwe bedreiging voor het landgoed, de verdroging. De planten die zich er vroeger zo goed thuis voelden, zoals aronskelk en speenkruid, hebben het momenteel moeilijk of zijn zelfs verdwenen. Samen met het 
