Ussenburg hat keine mittelalterliche Burg getragen. Nachgewiesen ist aber eine vorgeschichtliche Wallanlage, der als Fluchtort in Zeiten der Gefahr aufgesucht wurde oder ein heiliger Ort war. Durch Bodenproben ist die Erstbesiedelung auf 7.000 Jahre vor Chr belegt. In manchen Quellen wird auch der Name "Nussenburg" oder "Brennberg" verwendet. "Ussen" könnte "Außen" bedeuten. Der Name Ussenburg ist erstmals 1316 erwähnt. Die Auswertung der Erdproben weist auf eine Erstbesiedelung ab ca. 4.500 v. Chr. hin (Jungsteinzeit)