Er nennt sich selbst einen „Sportverrückten“. Zeit seines Lebens war Jörg Elsen dem Sport verbunden: erst aktiv, dann als Vereinsvorsitzender des Pfalzeler Sportvereins. Wichtig ist ihm die Vermittlung von Werten: Fairness und Achtung.