Zwar meldet eine alte Sage, dass unter mehreren Edlen, die unter dem Gefolge des Römischen Kaisers Lothar im Jahre 842 von Frankreich nach Deutschland kamen, auch ein Guido Clado oder ein Herr von Hof gewesen sei, der die ganze Umgegend Kaufbeurens getauft, Kaufbeuren selbst zu einer Stadt erhoben und mit Ringmauern und Wällen umgeben habe. Diese Herren von Hof nun, denen auch das hiesige Frauenkloster sein Entstehen verdankt, und die mehr denn 200 Jahre Kaufbeuren besaßen, sollen auf der Höhe von der Blasiuskirche an bis zum sogenannten Hexenturm (Burgleuten) ein Schloss innegehabt haben, welches mit seinen Gemäuern und Zwingern diesen ganzen Raum einnahm und teilweise schon durch die Natur befestigt war. Von diesem Schlosse soll nun die nun die Blasiuskirche die sogenannte Burgkapelle gewesen sein und deshalb ihren Ursprung bis ungefähr ins 9. Jahrhundert zurückführen können.

Karl Reiser unter Bezugnahme auf das Kaufbeurer Anzeigeblatt 1879 Nr. 116, S. 462