In de 17e eeuw stonden er drie herbergen aan het Wilheminaplein en de Herenstraat: de Zwaan, de Vergulde Valk en Torenburg. Van deze drie herbergen is alleen het pand van Torenburg bewaard gebleven. In 1890 bevond zich hier op de eerste verdieping de allereerste Groenteveiling van Naaldwijk. 10 jaar later zijn zij verhuisd naar een eigen pand, Na de verhuizing kreeg het pand weer een volledige horeca bestemming.