Wegen der Nähe zu Handelsrouten und der Lage am Kylltal wurde durch die Herren von Blankenheim im 12. Jh. eine kleine Kernburg mit Bergfried gebaut. 1291 wird die Burg erstmals urkundlich erwähnt als Castilburg, 1314 wird sie Castelberch genannt. . 1335 Erbauung des Wohnturmes durch Gerhard V. von Blankenheim. Er begründet die Linien Blankenheim-Kasselburg bzw. Blankenheim-Gerolstein. 1406 gelangt die Burganlage durch Heirat an Wilhelm I von Loen zu Heinsberg. 1426 geht der Besitz an die Herren von der Mark über. 1452 bis 1514 gehörte die Burg dem Trierer Erzbischhof. Danach kauft Dietrich von Manderscheid die Kasselburg zurück. Die Auflage die Burg „wehrlos“ zu machen hat er nicht eingehalten. Viele Interessengruppen beanspruchten im Laufe der Geschichte die Kasselburg für sich, so dass im Jahr 1674 das Reichskammergericht zu Wetzlar angerufen wurde, um den Besitzstreitigkeiten ein Ende zu bereiten. Die Burg wird dem Herzog von Arenberg gerichtlich zugesprochen. Die Burggebäude werden als Kaserne für die Arenbergische Artillerie genutzt. Später wird sie Sitz des Arenberger Försters. Der Verfall der Burg beginnt und setzt sich in den folgenden Jahren fort bis 1902. Vorher 1794 wurde die Kasselburg durch die Franzosen beschlagnahmt und wird 1815 preußischer Besitz. Unter König Friedrich Wilhelm IV wird in den Jahren 1902 bis 1913 eine Sanierung der Anlage durchgeführt. Nach einem Besuch regte er Instandsetzungsarbeiten an, und nach der Fertigstellung der Eisenbahnlinie Köln-Trier spendete die Eisenbahngesellschaft 1000 Taler zur Erschließung des damals schon berühmten Doppelturmes, um ihren Fahrgästen „etwas zu bieten“. 1976 bis 1986 saniert und restaurierte das Land Rheinland-Pfalz den Palas, die Mauern und den Hauptturm. Inzwischen untersteht die Anlage der Obhut der Organisation "Burgen, Schlösser, Altertümer Rheinland-Pfalz", seit 1998 Nachfolgeorganisation der staatlichen Burgen- und Schlösserverwaltung .Rheinland-Pfalz Innerhalb der Burganlage befindet sich seit 1971 der Adler-und Wolfspark Kasselburg.

Der 37 m hohe Doppelturm verdeutlicht die damalige Macht und Selbstsicherheit der Herren von Blankenheim. Das Innere des Doppelturmes wurde zu beheizbaren Wohnräumen ausgebaut die sich, verbunden durch eine Wendeltreppe im nördlichen Turm, über mehrere Obergeschosse verteilten. Ursprünglich gab es im Erdgeschoss einen Durchgang zum Burghof. An das Doppeltor schließt sich die Kernburg an, die noch einige beeindruckende Überreste aufweisen kann. Der früher frei stehende romanische Bergfried ist jetzt durch die östliche Burgmauer in die Kernburg integriert. An der Südseite befindet sich der ehemalige Palas und südwestlich der dreigeschossige Kapellenbau. Weitere Wirtschaftsgebäude sowie die Burgmannenhäuser befanden sich in der erweiterten Vorburg.