Das Zollhaus ist mit dem Vorwerk das älteste Gebäude der Stadt, es wurde 1464 in Massivbauweise aus Basaltfeldsteinen errichtet. Die Mauerstärke beträgt 80 cm. Ursprünglich war der Innenraum, er misst 5,80 X 5,80 m, aufgeteilt in Vorraum, Hauptraum und Nebenraum. Jeweils zwei Fenster nach Nordost und Südost sorgten für die Belichtung. Von diesem Gebäude führte die Auffahrt zur Burg, zum Zimmertor der Stadtbefestigung und zum Gilgbachtal. In diesem Gebäude hatte der Zöllner des Burgherrn seinen Sitz, und kassierte von den vorbeifahrenden Fuhrwerken den Wegezoll und die Abgaben. Das Gebäude kam 1825 in die Hand der Stadt und wurde als Markthaus genutzt. Marktwache und Trommler hatten darin ihr Domizil, auch die Verlosung der Standplätze sowie die Abrechnung der Standgelder erfolgte in dem Gebäude. Ab Anfang des 20. Jahrhunderts diente das Gebäude als Obdachlosenasyl und Unterkunft für Handwerksburschen. Den großen Raum bewohnte der Herbergsvater, im kleineren Raum standen 2 Pritschen, 1 Tisch und 2 Stühle für die Obdachsuchenden. Von 1945 bis 1965 wurde das Gebäude für Wohnzwecke bereitgestellt. Nach einem Umbau 1968 wurden alle Innenwände herausgenommen und das Gebäude als Heimatmuseum eingerichtet. Nach dem Umzug des Museums 1996 in das Vorwerk hat die Stadt Ulrichstein dem VHC Zweigverein Ulrichstein das Gebäude zur Nutzung für Vereinszwecke überlassen. Eine gründliche Innenrenovierung und eine dem historischen Gebäude angepasste Einrichtung sorgen für ein gemütliches Ambiente nach anstrengenden Wanderungen.
