Der Burgstall Kipfenberg besteht aus einer Vor- und einer Hauptbefestigung. Eine Kiesgrube hat den ansonsten in seinen Erdwerken noch gut erhaltenen Burgstall sehr zerstört. Die Burganlage gehört zu einem seltenen Typ mit zwei Burgkegeln und der Vorburg in der Mitte.

Der Sage nach soll ein unterirdischer Gang den Kipfberg mit dem Burgstall bei Westerried verbunden haben. (Karl Reiser) Sagen von unterirdischen Gängen haben oft mit Prozessionen zu tun, die nicht mehr ausgeführt werden.

Der Name Kipf ist auch bei Brot geläufig und mit dem ähnlich klingenden Gipfel verwandt. Genannt ist der Ort im Jahr 1277 als Kipphimberch. Das Geschlecht der Kipfenberg, das auf der Burg saß, wird als Ministerialen des Stiftes Kempten erwähnt.