1166 erste Erwähnung unter dem Namen „Arberg“
Im 12. Jahrhundert wurde auf dem Berg eine Burg errichtet, da diese Lage strategisch günstig war.
Die Burg Aremberg war Mittelpunkt der gleichnamigen reichsunmittelbaren Herrschaft Arenberg.
ca. 1670 bedeckt die Burganlage den gesamten Aremberg.
1682 nehmen französische Truppen die Burg ein.
Die Franzosen planten die Festung weiter auszubauen und selbst zu nutzen. Doch kam es zu einem folgenschweren Unglück, als eine falsch angelegten Sprengung den Wasserhaushalt des Arembergs stark veränderte. Dadurch versiegten alle Brunnen der Burg. Daher verließen die Besatzer bereits nach einem Jahr diesen Standort wieder. Die Festung selbst machten sie durch groß angelegte Sprengungen unbrauchbar.
Um 1720 wird die Anlage von den Herzögen neu errichtet und zum Schloss umgebaut. Am 13. Oktober 1794 räumt die herzogliche Familie das Schloss aus Furcht vor den französischen Revolutionstruppen
Im Jahre 1803 schließlich kaufte Jean Gaspard Villmart das „Schloß auf dem Aremberg“ und ließ es 1809 abbrechen
Erhaltene Reste aus allen Bauperioden: Burggraben mit Mauer, Bastionen der Festung sowie zwölf Linden aus dem ehemaligen Schlossgarten.
1854 wurde auf dem einstigen Burggelände ein etwa 17 m hoher Aussichtsturm erbaut. Als Aussichtsturm kann er auf Grund des Baumwuchses bereits seit Jahrzehnten nicht mehr genutzt werden. Ebenso besteht das früher darin befindliche Museum nicht mehr. Der Turm ist heute verschlossen, kann aber zu bestimmten festen Terminen besichtigt werden.
