Der Burgstall befindet sich östlich in unmittelbarer Nähe des Weilers Westerried. Er ist so gründlich zerstört, dass von ihm nichts mehr übrig ist als ein flacher Hügel, den die Bezirsstraße durchschneidet. Die letzten Reste des Schlösschens wurden 1911 beseitigt. Es war ein Mauerviereck mit einem eingebauten Kalkofen. Wahrscheinlich befand sich an der Stelle der mittelalterlichen Befestigung eine römische Villa, da römische Ziegel gefunden wurden.

Die Herren von Westerried treten im Jahr 1170 als Dienstmannen des Klosters Ottobeuren in Erscheinung. Westerried gehört zu dem Kranz der Rodungsorte auf der Westseite der Thingauer Urmark, die am weitesten nach Westen vorgeschoben wurde und noch in die erste große Rodungsperiode der Karolingerzeit gehört.

Karl Reiser belegt die Sage von einem unterirdischen Gang von Kipfenberg bis Westerried. Diese Sagen spiegeln oft die Erinnerung an früher ausgeübte Prozessionen.