Ursprünglich gab es in Schweinegg eine einfache Holzkapelle, die auf der Anhöhe westlich des Ortes stand. Die Stelle ist im Flurplan mit einem Kreuz bezeichnet. Nachdem diese Gebetsstätte baufällig geworden war, ließ der Bauer und Müller Martin Roth († 1756) gegenüber seinem Anwesen Schweinegg Nr. 33 eine kleine Kapelle errichten. Alle damaligen Bauern der Eisenberger Ortsteile Schweinegg, Stockach, Hummel und Oberdolden leisteten Fronarbeiten und beteiligten sich bei der Begleichung von Rechnungen.

Das Fest des Namenspatrons Rasso (= der Schnelle) von Andechs wird am 19.06. gefeiert. Dies könnte ein Hinweis sein, dass auf dem ursprünglichen Ort der Kapelle die Sommersonnenwende gefeiert wurde.