Der Schlossberg mit den baulichen Überresten der ehemaligen Burg der Grafen von Arnsberg dominiert die Kulisse der hoch über dem Ruhrtal gelegenen früheren Stadt Eversberg. Die Burg steht in 454 Meter Höhe über NN auf einem Bergkegel, der ziemlich steil rund 230 Meter aus dem Ruhrtal aufragt.

Graf Eberhard von Arnsberg ließ diese Höhenburg in der Zeit zwischen den Jahren 1093 und 1124 errichten. Sie wurde im Jahr 1235 zerstört und unter Graf Gottfried III. von Arnsberg neu errichtet, um sein Territorium gegen Kurköln zu sichern. Von dieser Burg aus gründete er im Jahr 1242 die Stadt Eversberg und verlieh ihr gleichzeitig das Lippische Stadtrecht.

Die seit dem 16. Jahrhundert aufgegebene und verfallende Burg wurde im 19. Jahrhundert auf Abbruch veräußert. Die Zeiten und den Abbruch überdauert haben der untere Teil des Bergfriedes, daran westlich anschließende Grundmauern und ein Turmstumpf von der Burgmauer oberhalb des heutigen Schützenhauses. In den Bergfried ist eine hölzerne Aussichtsplattform eingebaut, von dem aus sich ein phänomenaler Rundblick auf die waldreiche Umgebung bis nach Meschede und zum Hennesee und auf Eversberg bietet.

An einem Fahnenmast in der Mitte des Turmes weht in den Sommermonaten die blau-weiße Stadtfahne und zur Weihnachtszeit wird dort ein beleuchteter fünfzackiger Stern aufgezogen.

Von der Autobahn A46 ist die Burgruine in westliche Fahrtrichtung unübersehbar. Will man die Ruine besichtigen kann man bis zum Parkplatz an der Schlossberghalle fahren und von dort aufsteigen. Reizvoller ist jedoch der (recht steile) Aufstieg aus dem historischen Ortskern, vorbei an zahlreichen denkmalgeschützten Fachwerkhäusern, dem Rathaus und der Pfarrkirche St. Johannes Evangelist.