Ursprünglich gehörte das heutige Gelände der IG Metall der Gemeinde Drenke.
Die Bauern des Ortes waren arm, es gab nur Weideland für Schafe. Als der Wohlstand ausbrach, wurden anstatt der Schafe, Kühe angeschafft. Bauer Crux aus Drenke hat sich damals ein gutes Stück Land gesichert.
Und so kam die Burg hierher:
Eine Tochter des reichen Bauern Crux hat den Herrn Temme geheiratet, einen Bürgerlichen. Bauer Crux gab seiner Tochter das Land als Mitgift.
Herr Temme hat als Schiffskoch ein kleines Vermögen verdient. Später, als Kantinenwirt auf dem Truppenübungsplatz in der Senne (Kaiserzeit) hat er seine Schäfchen ins Trockene gebracht und so wurde hier die Burg erbaut.
Fertig gestellt wurde die Burg 1912, erbaut aus Steinen hier aus dem Steinbruch auf dem Gelände und erhielt den Namen „Elisenhöhe“, benannt nach der Ehefrau des Burgherren.
Die Burg war nicht ständiger Wohnsitz des Burgherren. In der Woche war er in Schloss Neuhaus und machte gute Geschäfte und übers Wochenende erholte er sich auf der Burg, bei seiner Familie.
60 Kilometer waren zurück zu legen, also kaufte Herr Temme sich früh ein Auto. Dieses wurde ihm zum Verhängnis. An einem Bahnübergang wurde er von einem Zug erfasst und verstarb. Zurück blieben seine neun Kinder und seine Frau, die ihm ein Jahr später folgte.
Verkaufen wollten die Kinder die Burg nicht. Deshalb eröffnete eines der Kinder ein Ausflugslokal.
Dann kam der Krieg. Noch immer wurde nicht verkauft. Die Erbengemeinschaft beschloss die Burg an einen Metzger zu verpachten. Das Gesundheitsamt hat den Betrieb aufgrund der Wasserversorgung jedoch nicht gestattet.
1942 haben die Erben den Besitz an einen Bauunternehmer aus Essen verkauft. Dieser musste die Burg jedoch wegen des Krieges wieder verkaufen.
Die Gewerkschaft Textil und Bekleidung hat das Gelände, einschließlich der vorhandenen Gebäude, erworben. Am 23.07.1950 wurde der Kaufvertrag unterschrieben. 50.000 DM wurden damals dafür bezahlt. 25 Morgen Mischwald gehörten zu dem Land. Es wurden nochmals 38 Morgen Land dazugekauft. Heute sind es rund 100.000 qm.
Heute sind Vorhalle und Rittersaal weitgehend erhalten geblieben. Die geschliffenen Fensterscheiben sind original Fenster von damals und auch heute so nicht mehr zu beschaffen.
In der Vorhalle steht das sogenannte „Kriegssofa“: In der Mitte der deutsche Kaiseradler, links das Wappen der Habsburger Donaumonarchie, rechts die Embleme des türkischen Reiches. Die Jahreszahlen von Beginn und Ende des ersten Weltkrieges sind eingeschnitzt.
Im Rittersaal stehen noch einige original Möbelstücke: Schränke, Tische, Stühle — alles noch aus der „Temme-Zeit“. Kunstvolle Schnitzereien an Decken und Wänden zieren den Saal. Dabei hat Herr Temme nicht vergessen, die Initialen der Vornamen anbringen zu lassen.
Eine Kapelle gehörte natürlich auch zu einer Burg: sie steht auch heute noch auf dem Gelände, sie ist der heiligen Elisabeth geweiht.