Rettenberg hieß ursprünglich Rötenberg (= roter Berg). Seit dem 12. Jahrhundert war es Herrschaftssitz. Neben der Burg Rettenberg gibt es auch noch einen Burgstall und die Burg Finkelsburg im Gemeindegebiet. Die Pfarrkirche ist dem Hl. Stephan geweiht.