Op dat moment koos
Jan Boc I, heer van Boxmeer, partij voor de graaf van Gelre.
Om die reden werd zijn kasteel in de jaren 1284/1285 verwoest. En dat zal zo'n beetje de rode draad blijven van de geschiedenis van het kasteel: telkens opnieuw wordt het verwoest, dan wel verwaarloosd en afgebroken, om telkens opnieuw weer te worden opgebouwd in een nieuwe gedaante.
In 1573 werd het kasteel weer eens belegerd en verwoest. Ditmaal was het de hertog van Alva die de hand in de ontmanteling had. Boxmeer was immers door haar ligging betrokken bij het strijdtoneel tussen de Republiek en Spanje. Het kasteel werd daarna enigszins hersteld door een noodbouw.
Het kasteel raakte in de zeventiende eeuw en daarna steeds verder in verval. In de tweede helft van de achttiende eeuw werd het zelfs een tijdje helemaal niet meer bewoond.
Uiteindelijk besloot douarière gravin Van Bergh-Hohenzollern-Sigmaringen het kasteel af te breken en te vervangen door een drieflankig paleiscomplex met vele kamers en zalen. In 1782 was dit nieuwe kasteel, dat inmiddels inderdaad veel meer weg had van een paleis, gereed.
Twintig jaar na de verbouwing moest een groot deel van het paleis / kasteel al weer afgebroken worden. Men had er bij de bouw geen rekening mee gehouden dat op de plek van het nieuwe gebouw de oude binnengrachten hadden gelopen. Een ondeugdelijke fundering en kwelwater zorgden voor een verwoestende werking op het paleis. Slechts één vleugel (de oostvleugel) kon worden behouden.
Aan het eind van de negentiende eeuw vestigden de Zusters van Julie Postel een ziekenhuis in het kasteel. Na de bouw van het Maasziekenhuis in de jaren 1960 bleef het kasteel als zusterklooster in gebruik. Eind jaren ‘80 promoveerde het gebouw zelfs tot moederhuis van de congregatie.
De overgebleven paleisvleugel (die nog steeds als klooster dienst doet) is ook nu nog te bewonderen. In de kelder bevindt zich een museum waar een levendig beeld wordt geschetst van de geschiedenis van het kasteel en zijn bewoners. Het kasteel zelf heeft een website met veel informatie.
