Die Gebrüder Elsen kamen von Simmern nach Wittlich. Im Jahr 1866 erwarben sie neben einer Restauration in der Oberstraße ein Gartengrundstück in der Himmeroder Straße. Am 6. Mai 1877 lasen die Wittlicher in der Zeitung: "Die Eröffnung unserer Gartenwirtschaft mit Kegelbahn zeigen ergebenst an: Gebr. Elsen." Der Plan zu dem attraktiven Vorbau zur Kegelbahn stammt vom Wittlicher Architekten Jakob Marschall, dessen Enkelin Maria heute noch in dem stolzen Marschall-Haus an der Ecke Sporgrabenstraße wohnt. Die Männer trafen sich dort zum Kegeln, und die Frauen und Kinder durften bei den Sommerfesten mit dabei sein. Regelmäßige Gäste der Sommerfesten in den 30er Jahren waren die jungen Förster der Wittlicher Forstschule am Afferberg (heute Haus Mozart). Mit ihren schicken, grünen Uniformen machten sie offenbar gewaltigen Eindruck auf die jungen Wittlicher Mädchen, so dass die verschmähten jungen Wittlicher Herren sich zusammentaten und den Förstern fürchterlich auf die schicken Uniformen schlugen. Zu Beginn des Frankreich-Feldzugs im Sommer 1940 war Elsens Garten für mehrere Wochen Standort einer Sanitätseinheit der deutschen Wehrmacht aus Schlesien. Fahrzeuge und Geräte standen zwischen den hohen Bäumen. Die Soldaten waren bei den Familien in der Himmeroder Straße einquartiert. Nach dem Zweiten Weltkrieg hat die Wittlicher Feuerwehr die Tradition der Sommerfeste fortgesetzt: Während im Garten die hellen Kinderstimmen bei der Kinderbelustigung durcheinander schwirrten, hörte man schon das Rollen der runden Holzkugeln von der Kegelbahn. Auf der alten Kegelbahn mussten die Kegel von Hand aufgestellt werden. Zu dieser Arbeit wurden immer diejenigen Wehrleute "heran gezogen", die im Lauf des Jahres bei Übungen oder Einsätzen aufgefallen waren, in der Feuerwehrsprache "Mist gebaut" hatten. Beim Preiskegeln gab es tolle Preise. 1953 waren das ein Waschkessel (erster Preis), zwei Sessel (zweiter Preis), ein elektrischer Kocher (dritter Preis) sowie Zigarren und Schnaps. Dann gab es an einem Schießstand "wertvolle" Trophäen zu gewinnen.Zum Groschentanz: "Alle Stücke ohne Wiederholung"

Abends spielte das Blasorchester zum Tanz auf: alles was damals modern und beliebt war: Walzer, Märsche, Rheinländer und Tangos. Es waren so genannte "Groschentänze". Das heißt, die Herren mussten für jeden Tanz ein oder zwei Groschen im voraus an der Tanzkasse zahlen. Spätestens nach einer halben Stunde erschien ein Mitglied des Feuerwehr-Vorstands beim Orchesterdirigenten und bemängelte: "Die Tänze sind viel zu lang. Wir kriegen ja nichts in die Kasse!" Daraufhin wies Orchesterchef Schneeberg die Musiker an: "Alle Stücke ohne Wiederholung!" Die beliebten Sommerfeste der Feuerwehr waren immer am Nachmittag des Fronleichnamstags. Weil dann aber es dann aber meist regnete, wurde dieser schöne Brauch nach ein paar Jahren aufgegeben. Seit dieser Zeit ist Elsens Garten gastronomisch verwaist. Die dicken, alten Bäume sind weg, und auch die sehenswerte alte Kegelbahn ist verschwunden. Diese allerdings hat ein "neues Leben": Als Ausstellungsstück wieder aufgebaut, erinnert sie ab 2005 im Freilichtmuseum in Bad Sobernheim an ein Stück Wittlicher Geschichte.