Die Gemeinde ist ein Haufendorf am Schwemmkegel des Höhenbachs. Erstmals urkundlich erwähnt wurde der Ort im Jahr 1315 als Holzge, später Holzgaw, was holz- bzw. waldreiche Au bedeutet. 1401 wurde es zur Pfarre erhoben.

Die reich verzierten Fassaden der Häuser, wovon einige in den letzten Jahrzehnten renoviert wurden, zeugen von den umfangreichen Handelsbeziehungen der Bewohner in den vergangenen Jahrhunderten.

Bei Holzgau gibt es folgende Attraktion:

Die längste Fußgängerhängebrücke Österreichs verbindet mit 200 m Länge und in 105 m Höhe den „Gföllberg“ mit der „Schigge". Die Brücke überquert die Höhenbachschlucht, in der sich der „Simmswasserfall“ befindet, der nach seinem Intiator, Sir Frederick Richard Simms benannt wurde.

 Sebastianskirche neben der Pfarrkirche in Holzgau (ca. 14.45 Uhr). Das meist verschlossene Gotteshaus ist ein eindrucksvolles Beispiel gotischer Kunst im Außerfern. Die Bilder zeigen das Leben und Sterben des Pestpatrons Sebastian. Hier kann man auch den Totenschädel von Pfarrer Michael Reck bewundern, der 1629 an der Pest starb.