Haugen ist ein Weiler, der im Jahr 1466 erstmals erwähnt ist. Die Bedeutung des Namens ist "Siedlung am Hügel". Oberhalb liegt auf dem Moränenhügel ein Burgstall mit einem Oberflächenraum von  32 x 18 m.

Für den Burgstall ist der Name Geisburg überliefert. Damit kann ein Zusammenhang mit den Adeligen bestehen, die sich Geiser (Geizere im Jahr 1181, Gaizeri im Jahr 1188) nennen. Ein Geis ist ein "Tabu-Platz", der nur zu bestimmten Zeiten oder von bestimmten Personen betreten werden durfte. Das Wort Geisel (Gefangene) leitet sich von Geis ab. Geiseln waren ursprünglich adelige Personen, die zur Garantie für die Einhaltung von Verträgen gefangen gehalten wurden. Wurde der Vertrag gebrochen, wurden die Geiseln getötet. Wahrscheinlich waren die Geiser für die Betreuung der Geiseln verantwortlich.

Der Name Geis taucht in der Umgebung noch öfter auf, z.B. im Ortsnamen Geisenried. Auch die ursprüngliche Bezeichung des Füssener Schlossberges ist Geisberg.

Karl Reiser belegt die Sage von einem unterirdischen Gang zwischen dem Schloss Haugen und der Kapelle auf dem Maria Seelenberg (siehe Reichenbachschanze). Derartige Sagen sind oft die Erinnerung an früher ausgeübte Prozessionen.

Bei Ausgrabungen wurde eine ausschließlich hölzerne Bebauung festgestellt. 1391 wird die Burg letztmalig erwähnt.