Das Gebäude von größtem historischem Interesse in der Andreas-Hofer-Straße ist sicherlich das "Ballhaus". Dieses Gebäude diente als Lagerhaus für die Waren, die durch Neumarkt transportiert wurden und die man, auf Anordnung Herzogs Otto, eine Nacht zu lagern verpflichtet war und für die man Zoll zu bezahlen hatte. Über dem steingerahmten Rundbogentor ist - fälschlicherweise - 1372 als Jahr der Errichtung notiert und das Wappen von Neumarkt mit dem weißen Halbmond in rotem Feld und dem roten Kreuz im weißen Feld dargestellt. In Wirklichkeit ist das Ballhaus rund 150 Jahre jünger. Man kann sagen, dass das Ballhaus das Symbol der Privilegien ist, die Neumarkt bis zum 18. Jahrhundert genoss und die es ihm erlaubten, sich zu dem bedeutenden und schönen Ort zu entwickeln, den wir kennen. Nach einer sorgfältigen Restaurierung ist das Gebäude Sitz der Gemeindebibliothek für deutsche Sprache, "Bibliothek im Ballhaus", geworden