Der Schwarzenberg ist seit Jahrhunderten ein Grenzberg. Der Bergrücken sieht aus wie ein Landschaftsdrache, der das Schloss Hohenschwangau an der Stelle einer Krone trägt.

Heute verläuft hier die Grenze zwischen Bayern und Tirol. Früher grenzten hier das Kurfürstentum Bayern, das Bistum Augsburg und das Land Tirol aneinander und bildeten das "Dreiländereck". Am Ende des Berggrates, oberhalb der Roten Wand, findet sich ein alter Grenzstein.

Nach einer Sage sollen sich die Fürsten dieser drei Länder zu einer Konferenz auf dem Schwarzenberg getroffen haben, wobei jeder auf seinem eigenen Territorium saß.

Der Schwarzenberg ist äußerlich nicht "schwärzer" als die umliegenden Bergzüge. Daher kann eine mythologische Bedeutung dieses Namens vermutet werden. Gerade bei Namen wie Schwarzenberg, Roter Berg oder Weißer Berg finden sich oft Bezüge zu Frauenfiguren, die in sich die Grundaspekte weiß (jungfräulich, wild), rot (fruchtbar, füllig) und schwarz (weise, verwandelnd) der Großen Göttin tragen. Der Schwarzenberg als Landschaftswesen personifiziert sich vermutlich in der Sage vom alten Kratzerweible, die oberhalb der Pinswanger Kirche in einer Höhle wohnte.